Sally Thomas e Wen Jung Peng L’uso degli standard e dei benchmark educativi nelle pubblicazioni sugli indicatori Introduzione Scopo di questo documento è di esaminare l’uso degli standard e dei benchmark educativi nelle pubblicazioni sugli indicatori internazionali e su altre questioni importanti di politica scolastica, particolarmente nel contesto del Regno Unito. Si esaminerà anzitutto che cosa si intende per standard e benchmark educativi e come sono definiti questi due concetti. Si tratterà in seguito dell’uso che se ne fa in due pubblicazioni chiave sugli indicatori, quali Education at a Glance (EAG) e Key Data on Education in Europe (KD), e poi verranno dati ulteriori esempi dettagliati, tratti dalle pubblicazioni del Regno Unito, soprattutto in rapporto alla definizione degli obiettivi. 2. Questioni connesse con la definizione degli standard e dei benchmark Come ha già notato Jaap Scheerens nel primo documento di BEQUAD (Scheerens, 2001), è possibile distinguere almeno due tipi di standard. Il primo può essere chiamato standard assoluto, derivato dall’accordo degli esperti o dal consenso comune su una misurazione fissa o su un insieme di contenuti. Il secondo può essere definito standard relativo, derivato da una misurazione tipica, media o “effettuata al meglio” su un gruppo o una popolazione campione. È importante notare che gli standard “accettabili” – sia relativi che assoluti – possono cambiare e cambiano realmente nel tempo. Il termine benchmark ha sostanzialmente lo stesso significato di standard, ma è usato più spesso in rapporto ad un processo dinamico di comparazioni relative – un processo che spesso è chiamato benchmarking (si veda la sezione 5 per alcuni esempi riferiti al Regno Unito). Tuttavia in passato, e anche nel dibattito corrente, il termine standard (al singolare e al plurale) è spesso poco chiaro o confuso, come hanno notato Goldstein e Heath (2000) in rapporto al contesto del Regno Unito: Gli standard educativi sono apparsi soprattutto nel dibattito recente sulla politica educativa nel Regno Unito e in altri paesi. Ciò nonostante, e forse proprio a causa di ciò, c’è scarsa chiarezza sulla natura di uno “standard”, difficoltà a capire come questi dibattiti si collocano storicamente ed insufficiente consapevolezza dei problemi di misurazione (Goldstein e Heath, 2000, p. 1). Nello stesso volume, Aldrich (2000) sostiene che: Le definizioni dei dizionari dimostrano che i termini “standard” e “benchmark” hanno diversi significati. Tali significati sono cambiati nel tempo e continueranno a cambiare (Aldrich, 2000, p. 40). Aldrich continua con un esempio che illustra come il significato della parola “standard” può cambiare nei documenti ufficiali: Può esserci, e in realtà c’è, confusione nei documenti ufficiali. Ad esempio, la terza sezione del Libro Bianco sull’eccellenza nelle scuole, pubblicato nel 1997, è intitolato ‘Standard e accountability’. Nel primo sottotitolo recita: “Innalzare gli standard: la nostra priorità assoluta” e riferisce che “nei test nazionali del 1996 solo sei su dieci alunni di 11 anni hanno raggiunto lo standard di matematica e inglese fissato per la loro età” (DfEE, 1997: 10). In questo caso il termine standard è usato nel senso di livello accettato, in rapporto al quale si esprime il giudizio per tutti. Ma l’innalzamento degli standard cui si fa riferimento nel sottotitolo non viene applicato probabilmente (almeno non all’inizio) agli standard attesi, rispetto ai quali quattro ragazzi su dieci risultano ancora inadeguati. Si riferisce piuttosto agli standard o livelli di profitto inaccettabili di coloro che non riescono a raggiungere lo standard atteso (Aldrich, 2000, p. 40). Nel medesimo volume Cresswell (2000) offre una prospettiva più ampia degli standard: Personalmente interpreto l’espressione ‘standard educativi’ nel suo significato più ampio, nel senso cioè della qualità del servizio educativo, e ritengo che l’interesse a monitorare questi standard trovi la sua ragione nel desiderio di un’informazione valida su cui basare le politiche educative finalizzate a migliorare la qualità (Cresswell, 2000, p. 69). E, volendo chiarire ulteriormente la difficoltà di definire gli standard in modo più preciso, così continua: Il termine standard, come è noto, è piuttosto sfuggente. Uno degli aspetti più fuorvianti, quando è usato in contesti di valutazione educativa, è l’immagine che evoca le misurazioni standard nelle scienze fisiche. E’ noto che in Francia era conservata una volta una barra di metallo, che indicava l’esatta lunghezza del metro. Dov’è il suo equivalente in campo educativo? (Cresswell, 2000, p. 69). A sostegno del parere di Cresswell, Gipps (1990) circa dieci anni fa ha sottolineato come le persone possono intendere il termine standard sia in senso stretto sia in senso lato rispetto alla valutazione: Quando parliamo di standard, possiamo fare riferimento ai livelli di profitto nelle abilità di base, come la lettura e la matematica, oppure ai livelli di profitto in una gamma molto più ampia di attività scolastiche. Possiamo parlare di standard del servizio offerto, nel senso del numero di insegnanti e di libri per alunno, oppure di comportamento, di modo di vestire e di altri fenomeni sociali. Quindi, in senso stretto, gli standard possono significare i livelli delle prestazioni in un test; in senso lato possono includere elementi di comportamento sociale e morale, di disciplina e di profitto educativo (Gripps, 1990, p. 26). Gipps (1990) continua mettendo in evidenza le pressioni esercitate nel sistema scolastico del Regno Unito per fissare gli standard educativi – una questione su cui ritorneremo nella parte conclusiva (sezione 6.2). Possiamo ignorare solo a nostro rischio il fatto che molta gente abbia la sensazione che gli standard educativi stanno calando. Nell’attuale clima, in cui il consumismo domina l’ideologia educativa (Lawton, 1987), le opinioni dei genitori, dei datori di lavoro e dei politici sugli standard sono di vitale importanza. L’opinione che gli standard siano in calo offre ai politici la forza e la motivazione per definire standard approvati (in forma di livelli dei test di profitto) allo scopo di garantire il controllo della qualità. Un esempio di tutto ciò è stato l’obiettivo proposto da Sir Keith Joseph per il GCSE (General Certificate of Secondary Education): portare l’80-90 % degli alunni di 16 anni almeno al livello corrispondente al CSE, raggiunto dalla media degli alunni. Attualmente abbiamo gli obiettivi di profitto del curriculum nazionale, che servono per definire gli standard lungo l’intero percorso scolastico (Gipps, 1990, p. 27). Avvicinandosi ad una definizione più esplicita di standard, Bartolomew (2000) sostiene che essi sono generalmente concettualizzati in forma quantitativa, anche se è chiaro che questo vale, ad esempio, per gli standard dei contenuti curricolari. Egli afferma che: Gli standard sono al centro dell’attuale dibattito educativo e, se esaminiamo i contesti nei quali il termine è usato, troviamo che il concetto è sostanzialmente quantitativo. Gli standard sono detti alti o bassi e le istituzioni o i singoli vengono classificati secondo il livello delle prestazioni. Inoltre, nonostante l’onnipresenza del termine, non c’è un semplice strumento di misurazione che possiamo applicare ad un alunno o ad una scuola e dedurne il valore appropriato (Bartolomew, 2000, p. 121). Bartolomew prosegue nell’intento di fornire un utile chiarimento del processo di misurazione degli standard: Prima di poter fornire un quadro concettuale per affrontare la misurazione degli standard, dobbiamo rilevare che il termine standard è usato in una grande varietà di significati, e quindi occorre un chiarimento preliminare per evitare confusioni. Tutti hanno qualcosa a che fare con i livelli di profitto o di prestazione da parte degli alunni, degli studenti o delle istituzioni. Lo standard raggiunto da uno studente al termine di un corso, ad esempio, è considerato un punto su una scala di prestazioni che può essere confrontato con quello di un altro studente o una soglia di accettabilità per superare un esame o per conseguire un diploma di un particolare indirizzo di studi. Stiamo parlando di una scala individuale, che misura la prestazione di una persona (Bartolomew, 2000, p. 121-22). 2 Come si può rilevare dai diversi punti di vista degli autori citati, in ambito educativo il termine standard è applicato molto spesso al profitto o alla prestazione degli alunni, anche se naturalmente è sempre più usato in rapporto ad altre unità di analisi, quali ad esempio gli insegnanti, le classi, le scuole, le autorità regionali, i sistemi nazionali. In realtà, dato il grande interesse che i responsabili delle decisioni politiche del governo hanno negli ultimi anni verso la ricerca sull’efficacia e il miglioramento della scuola, l’attenzione si concentra ora sulla valutazione dei dati di prestazione ad ogni livello del sistema educativo. Ad esempio, nel Regno Unito si dà particolare enfasi sia alla valutazione interna che a quella esterna a livello di scuola e di regione (Autorità scolastiche locali, LEA) allo scopo di elevare gli standard educativi. È utile, quindi, fornire alcuni esempi di come gli standard – particolarmente quelli di prestazione degli studenti – sono intesi nei diversi paesi, traendoli da studi di caso condotti in Canada, Gran Bretagna e USA: Canada: La parola “Standard” crea spesso confusione in ambito educativo perché ha un gran numero di significati diversi. In questo studio vengono definiti come “indicatori di qualità che specificano le attese sugli studenti”. Se si accetta che ci sono tre diversi tipi di standard utilizzati in ambito educativo come punti di riferimento (riferiti alla norma, riferiti al criterio ed autoreferanziali), lo stato dell’Ontario è attualmente impegnato nella definizione di standard riferiti al criterio o ai risultati (Earl & Graham, 1995, p. 58). Nelle prime iniziative di controllo a livello provinciale, gli standard erano stabiliti da gruppi di interpretazione formati da rappresentanti dei genitori, degli insegnanti, degli amministratori scolastici, degli esperti, della comunità economica, dei professori universitari…Più recentemente il Ministero dell’Educazione e della Formazione ha collegato la necessità di un curricolo appropriato con quella della valutazione e ha avviato un programma mirato a stabilire a priori i risultati per le classi 3a, 6a e 9a, come parte di un documento complessivo di indirizzo politico (Earl & Graham, 1995, p. 59). Inghilterra: … le preoccupazioni riguardanti gli standard e la rendicontazione e la mancanza di un curricolo uniforme per tutti possono essere quindi interpretati come questioni centrali nel condurre all’introduzione di un curricolo obbligatorio che comprende gli standard di prestazione (Ruddock, 1995, p. 82) … sono stati costituiti gruppi di lavoro per ciascuna materia del Curricolo Nazionale. Questi gruppi di lavoro hanno definito il curricolo per la materia specifica e per i rispettivi standard di prestazione. Dopo le consultazioni e le revisioni, questi nuovi curricoli e i relativi standard hanno ricevuto uno stato giuridico e sono stati messi in atto in fasi successive (Ruddock, 1995, p. 82). USA: … il termine “standard di prestazione” ha una definizione piuttosto libera, che forse attribuisce diversi standard di contenuto alle diverse fasce d’età, ma che non arriva ad articolare standard di prestazione qualitativi o quantitativi (Lowe, 1995, p. 11). Senza dubbio negli USA, dato l’approccio decentrato all’educazione, si deve seguire un complesso percorso negoziale per far approvare standard di prestazione di alta qualità coerenti con i criteri educativi e pubblici di efficacia, utilità e credibilità (Baker & Linn, 1995, p. 209). Questi esempi mostrano che i vari paesi hanno prospettive differenti riguardo al significato del termine standard, perfino in riferimento specifico alle prestazioni degli studenti. Anche recentemente, nel contesto dell’UE, la confusione e la mancanza di chiarezza riguardo al significato attribuito ai termini benchmark e obiettivi sono state sottolineate da Edward Tersmette in una relazione presentata alla conferenza del SICI (Ispettorato Scolastico dei Paesi Bassi) (2001). In relazione al benchmarking della qualità in ambito educativo egli afferma che: … la questione di standardizzare qualcosa come la qualità dell’educazione a livello europeo è ancora, in questa fase, molto frenata dal dibattito sulle definizioni … Cos’è un benchmark, cosa ci aspettiamo che faccia, perché lo vogliamo? (Tersmette, 2001, p. 47). 3 L’autore continua il discorso riferendo come la Commissione UE ha confuso l’uso dei termini benchmark e obiettivi - una questione illustrata in precedenza attraverso una consultazione durante una cena di lavoro con i funzionari dei Ministeri dell’educazione degli stati membri dell’UE: La Commissione, nel suo programma di lavoro per l’attuazione degli obiettivi comuni dei sistemi educativi, adottato il mese scorso e del quale intendo parlare, sta in realtà usando una definizione di benchmark piuttosto specifica. Dobbiamo ammettere che si è creata confusione tra gli obiettivi a medio e lungo termine e gli obiettivi per i sistemi educativi, che noi chiamiamo benchmark, ma che in realtà avremmo dovuto chiamare obiettivi (Tersmette, 2001, p. 47). Tutti i benchmark della Commissione sono stati fissati nel futuro come obiettivi da raggiungere che, se si prende alla lettera il termine benchmark, non è veramente l’accezione più appropriata. Nell’industria, dove questo termine è usato più spesso, un benchmark è sostanzialmente la prestazione di un concorrente in un determinato campo, con la quale ci si vuole confrontare nella speranza di superarla. Quindi nell’industria un benchmark è qualcosa che viene fissato nel presente per dare una linea direttiva all’azione nel futuro. La Commissione invece ha fissato i “benchmark” nel futuro, per dare una linea alla sua azione nel presente (Tersmette, 2001, p. 47). Questo crea confusione – ma forse dobbiamo riconoscere che in ambito educativo abbiamo veramente bisogno di definire il nostro concetto di benchmark…: dobbiamo anche riconoscere che non possiamo trattare l’educazione nello stesso modo dell’industria e che un sistema educativo non va concepito come il concorrente di un altro (Tersmette, 2001, p. 47). Visti questi esempi di come i termini standard e benchmark sono probabilmente usati in modi diversi o incoerentemente, non sorprende che essi non siano definiti chiaramente né usati in modo coerente nelle principali pubblicazioni sugli indicatori internazionali EAG (OECD, 2001b) e KD (UE, 2000). Nella sezione seguente ci proponiamo di illustrare dove sono stati applicati questi termini e come sono stati usati i concetti nella presentazione dei dati comparativi internazionali. 3. Uso di Standard e Benchmark in Education at a Glance (OECD, 2001b) In Education at a Glance (EaG) non c’è una definizione esplicita di standard. Tuttavia i termini standard e standards sono usati in diversi modi in rapporto alla descrizione di indicatori, con riferimento al loro significato sia assoluto che relativo. La mancanza di standard assoluti, ad esempio, viene sottolineata nell’uso di comparazioni internazionali nel seguente paragrafo relativo alla spesa educativa: In assenza di standard assoluti relativi alle risorse per studente, necessarie per garantire rendimenti ottimali sia per i partecipanti che per la società nel suo insieme, le comparazioni internazionali possono offrire un punto di partenza alla discussione mediante la valutazione di come i diversi paesi variano quanto all’ammontare degli investimenti in campo educativo (OECD, 2001b, p. 53). Naturalmente ciò che viene inteso come comparazione internazionale fornisce dei benchmark relativi, e questo punto viene sottolineato negli Highlights di EaG (OECD, 2001a, p. 2). Al contrario, in alcuni casi l’OCSE riconosce che a livello nazionale ci possono essere standard fissi o assoluti, anche se essi sono più difficili da definire a livello internazionale. L’esempio che segue dimostra questo punto in rapporto all’età tipica degli alunni: Per età tipica si intende quella che corrisponde di solito all’età d’inizio e di termine di un ciclo educativo. Questa età di riferisce alla durata teorica di un ciclo, dando per scontate la frequenza a tempo pieno e la non ripetizione di una classe. Si parte dall’assunto che, almeno nel normale sistema educativo, uno studente può proseguire nel percorso educativo in un dato numero di anni, che si riferisce alla durata teorica del percorso stesso (OECD, 2001b, p. 400). Nella pubblicazione dell’OCSE “Analisi delle Politiche Educative” (Education Policy Analysis, OECD, 2001c), tuttavia, vengono messe chiaramente in luce le difficoltà che si incontrano per ottenere una qualche forma di consenso nell’elaborazione di standard assoluti perfino a livello nazionale: Negli studi a livello terziario, le modalità con cui sono fissati gli standard e valutati gli studenti appaiono inadeguate per essere assunte nell’ampia gamma degli obiettivi di programma, dei metodi d’insegnamento e dei bisogni dei singoli studenti (OECD, 2001c, p. 28). 4 Procedendo più addentro nella questione correlata degli standard che cambiano nel tempo, questa idea è implicitamente riconosciuta dall’OCSE nella seguente affermazione relativa agli standard educativi: Le famiglie e i singoli fanno notevoli investimenti nell’educazione, aumentando quindi gli standard educativi nelle generazioni successive (OECD, 2001b, p. 266). Senza dubbio, uno dei ruoli più importanti dell’OCSE è stato quello di affrontare la crescente richiesta di comparazioni internazionali dei risultati educativi allo scopo di monitorare il miglioramento degli standard educativi nel tempo. Avendo ben presente questo ruolo, l’OCSE ha lanciato il Programma per la Valutazione Internazionale degli Studenti (Programme for International Student Assessment = PISA), che rappresenta un nuovo impegno assunto dai paesi OCSE per monitorare i risultati dei sistemi educativi in termini di profitto degli studenti su base regolare ed entro un quadro comune di riferimento accettato a livello internazionale: PISA ha lo scopo di fornire una nuova base al dialogo sulle politiche e alla collaborazione per la definizione e l’operazionalizzazione degli obiettivi educativi in modo innovativo, che riflettono i giudizi sulle abilità ritenute importanti per la vita adulta. Fornisce input per la definizione degli standard e per la valutazione; approfondimenti circa i fattori che contribuiscono allo sviluppo delle competenze e circa le somiglianze e le differenze tra paesi in rapporto a come questi fattori operano. Offre anche una migliore possibilità di comprensione delle cause e delle conseguenze dei divari osservati fra le abilità. Favorendo uno spostamento dell’attenzione dagli input offerti ai sistemi e alle istituzioni educative verso i risultati di apprendimento, PISA contribuisce ad aiutare i responsabili delle decisioni politiche nel migliorare l’attività della scuola e nel preparare i giovani alla vita adulta in un periodo di rapidi cambiamenti e di crescente interdipendenza globale (OECD, 2001b, p. 305). L’OCSE riconosce anche l’idea di indicatore standard: … la spesa pubblica per l’educazione è un indicatore standard della disponibilità di risorse pubbliche per l’educazione permanente (OECD, 2001c, p. 61). Come già rilevato in precedenza, nonostante le medie dei paesi OCSE offrano uno strumento di benchmarking relativo, il termine “benchmark” è usato solo in pochi casi. Ad esempio, in rapporto alla partecipazione all’educazione e alla formazione continua: Nei paesi OCSE c’è una crescente consapevolezza dell’importanza degli investimenti in capitale umano attraverso l’educazione permanente… Il numero di ore di formazione a cui la popolazione di vent’annidi età può aspettarsi di partecipare nel corso della sua vita è essenziale. Varia da circa 1.000 ore di educazione e formazione continua nella comunità fiamminga del Belgio, in Italia e in Polonia, alle oltre 3.000 in Danimarca e in Finlandia. Utilizzando benchmark di intensità/durata di circa 30 ore a settimana e 40 settimane all’anno come equivalenti di partecipazione “a tempo pieno”, questi dati implicano che gli adulti, nei paesi OCSE analizzati, possono attendersi di partecipare ad un equivalente da 0.7 a 3.2 anni di formazione a tempo pieno nell’età fra i 20 e i 65 anni (Tavola C1.5). (OECD, 2001b, p. 130). Inoltre, in linea con le difficoltà rilevate nell’identificazione di standard adeguati per gli obiettivi di programma a livello terziario, l’OCSE (2001c) analogamente riconosce la difficoltà di definire benchmark appropriati per i tassi di partecipazione e per i programmi di studio a livello terziario: Dato che il completamento dell’istruzione secondaria superiore è diventato quasi universale, la partecipazione all’istruzione terziaria è stata sempre più considerata come un importante prerequisito per il lavoro e l’ulteriore apprendimento nella vita adulta. I criteri di valutazione e di comparazione fra le prestazioni dei diversi paesi in quest’area non sono nettamente definiti come nel caso dell’istruzione secondaria superiore, perché è difficile identificare benchmark appropriati per i tassi di partecipazione e per i programmi di studio (OECD, 2001c, p. 50). Di conseguenza, in EaG (OECD, 2001b) l’uso dei termini standard e benchmark varia in una certa misura sia per significato che per frequenza nel testo. Nondimeno, i processi di benchmarking sono impliciti in tutta la pubblicazione attraverso i raggruppamenti e le liste di specifici risultati dei paesi, la presentazione delle medie e dei totali nazionali e la presentazione dei benchmark relativi nel tempo e nei diversi livelli di istruzione. I differenti tipi di benchmark usati in EaG (OECD, 2001b) vengono illustrati qui appresso: • Media dei paesi (Country mean) 5 La media dei paesi viene calcolata come media non ponderata dei valori dei dati di tutti i paesi per i quali tali dati sono disponibili o possono essere stimati. La media dei paesi fa riferimento perciò ad una media dei valori dei dati a livello di sistemi nazionali e può essere usata per rispondere alla domanda di come il valore di un indicatore di un dato paese si rapporta con il valore di un paese tipo o medio. Non prende in considerazione la dimensione assoluta del sistema educativo in ciascuna nazione (OECD, 2001b, p. 27). Un esempio viene fornito nella Tavola B1.1 relativa alla spesa per studente (OECD, 2001b, p. 67). • Media OCSE Non viene fornita alcuna definizione per la media OCSE, ma risulta implicito che tutti i paesi OCSE vengono inclusi nel calcolo (sia che i dati di altri paesi siano disponibili oppure no). Un esempio viene fornito nel grafico B1.2, relativo alla spesa per studente (OCSE, 2001b, p. 59). • Totale OCSE Il totale OCSE è calcolato come media ponderata dei valori di tutti i paesi per cui i dati sono disponibili o possono essere stimati. Riflette i valori di un dato indicatore, quando l’area OCSE è considerata nel suo insieme. Questo approccio è utilizzato allo scopo di confrontare, ad esempio, i diagrammi di spesa dei singoli paesi con quelli dell’intera area OCSE per cui sono disponibili dati validi, considerando tale area come una singola entità (OECD, 2001b, p. 27). Si veda, come esempio, il grafico B1.2 relativo alla spesa per studente (OCSE, 2001b, p. 59). • Cambiamento nel tempo (a livello nazionale) Si veda, come esempio, il diagramma B4.2, relativo alla spesa pubblica totale in percentuale del PIL (OECD, 2001b, p. 97). • Cambiamento nei diversi livelli di istruzione (a livello nazionale) Si veda, come esempio, il grafico D7.1, relativo al rapporto studenti/computer (OECD, 2001b, p. 260). • La graduatoria dei paesi Ne viene fornito un esempio con il grafico F1.2, che mostra come i paesi possano misurare con precisione l’entità del cambiamento nei punteggi di profitto, esaminando il proprio miglioramento attraverso il confronto con i punteggi di profitto degli altri undici paesi OCSE (OECD, 2001b, p. 309). • La linea di benchmark o rapporto “medio” fra le variabili Si veda, come esempio, il rapporto fra spesa per studente e PIL pro capite mostrato nel grafico B1.4 (OECD, 2001b, p. 62). • Paesi raggruppati secondo la significatività statistica sopra/sotto la media dei paesi Si veda, come esempio, la Tavola F2.2 relativa alla distribuzione dei punteggi di profitto dell’8a classe (OECD, 2001b, p. 319). • Paesi raggruppati a seconda che gli standard di profitto siano mutati nel tempo in misura statisticamente significativa La Tavola F2.2 offre un esempio relativo alla distribuzione dei punteggi di profitto nell’8a classe (p. 319, OECD, 2001b). • Paesi ordinati e raggruppati secondo le dimensioni e la significatività statistica delle differenze tra i generi nei punteggi di profitto Si veda, come esempio, il grafico F4.1 relativo alle differenze nei punteggi medi di profitto, per materia (OECD, 2001b, p. 325). • I risultati dei paesi negli Indicatori Mondiali dell’Educazione (WEI), raggruppati insieme e presentati in parallelo ai risultati dei paesi OCSE 6 Un’implicazione del raggruppamento dei risultati di particolari paesi è che il confronto tra i paesi può essere più importante all’interno dei gruppi che fra i gruppi. Si veda, come esempio, la Tavola C2.2 relativa ai tassi di diplomati nella scuola secondaria superiore (OECD, 2001, p. 146). 4. L’uso di Standard e Benchmark in Key Data on Education in Europe (UE, 2000) Nella pubblicazione Key Data (KD, UE, 2000), l’informazione comparativa è fornita in termini di indicatori sia qualitativi che quantitativi. L’ufficio statistico delle Comunità Europee (Eurostat) ha predisposto gli indicatori statistici e i relativi commenti. La parte qualitativa del rapporto che corrisponde agli indicatori descrittivi è stata predisposta dalla rete Eurydice. Analogamente alla situazione rilevata nella pubblicazione EaG 2001 dell’OCSE, i termini standard e benchmark non sono esplicitamente definiti nel testo. I processi di benchmarking, tuttavia, sono anche in questo caso impliciti nella pubblicazione attraverso i raggruppamenti di particolari risultati dei paesi UE e la presentazione delle medie e dei totali dei paesi. È interessante notare che in molti casi la discussione dei dati parte dalla media UE e poi continua con l’esame della variazioni tra i paesi membri dell’UE. In una certa misura, questo approccio sta a indicare che l’attenzione si concentra molti di più sull’analisi e la comparazione fra gli “standard osservabili” all’interno degli stati membri e il benchmark “relativo” indicato dalla media UE, data l’esistenza di comuni obiettivi educativi UE. Tipi di benchmark usati in Key Data on Education in Europe (UE, 2000): • Media UE Si veda, come esempio, la Figura E4 relativa alla distribuzione degli studenti in generale e alla scuola secondaria superiore ad indirizzo professionale (UE, 2000, p. 84). • Totale UE Si veda, come esempio, la Figura F1 relativa al numero di studenti nell’istruzione terziaria (UE, 2000, p. 103). • Relazioni standard fra le variabili – a livello UE – quali ad esempio i cambiamenti del tasso di disoccupazione nel tempo Si veda, come esempio, la Figura A9 relativa ai cambiamenti nei tassi di disoccupazione per gruppi di età (UE, 2000, p. 6). • Raggruppamenti per nazioni Gli stati membri vengono raggruppati in molte Tavole nei seguenti modi: Unione Europea, EFTA/EEA o paesi in pre-accesso. All’interno dei raggruppamenti, i paesi sono per lo più elencate in ordine alfabetico. • Un approccio più libero alla definizione degli standard potrebbe essere inteso come riferimento all’ “approccio raccomandato più spesso” nelle linee guida dei paesi UE Si veda, come esempio, la Figura C15 relativa alle raccomandazioni per la valutazione degli alunni (UE, 2000, p. 60). In sintesi, ci sono prove scarse o nulle dell’uso di standard assoluti sia in EaG che in KD. Il concetto di standard relativi o benchmark, al contrario, è applicato con frequenza. È stata posta in evidenza una grande varietà di benchmark differenti sia in EaG che in KD. L’aspetto “relativo” dei differenti benchmark è stato basato sulla media e sulla distribuzione delle misure degli indicatori entro le unità sistemiche/organizzative (ad es.: paesi, regioni, scuole), i periodi di tempo, i diversi settori o fasi dell’istruzione. Inoltre, in alcuni casi, il concetto di “linea di benchmark relativo” è usato come linea di riferimento per confrontare le relazioni fra due variabili tra un certo numero di paesi. La graduatoria dei paesi secondo i risultati degli indicatori fornisce anche un tipo di benchmark nel senso che il confronto tra paesi con risultati simili viene facilitato. Allo stesso modo, il raggruppamento dei risultati di specifici indicatori nazionali è una forma di benchmarking, nel senso che viene facilitato il confronto all’interno di tali gruppi (piuttosto che fra i gruppi). 7 5. Uso dei termini Standard, Benchmark e Obiettivi nel Regno Unito 5.1 Esempi di Standard In Inghilterra i termini standard e benchmark sono definiti nel Manuale per l’Ispezione delle Scuole Primarie e dell’Infanzia1 – con una guida sull’autovalutazione (OFSTED, 1999): In questa guida usiamo il termine standard per indicare il livello di istruzione raggiunto dagli alunni in riferimento ad un certo benchmark ben definito, come sono ad esempio i livelli del National Curriculum o le descrizioni al termine di un Key Stage2. Alti standard, ad esempio, significano che una più alta percentuale di alunni di una certa età raggiungono o superano il livello fissato rispetto alla maggioranza delle scuole. Usiamo gli standard anche in relazione ad altre caratteristiche meno misurabili ma ampiamente sentite, quali le attitudini e i comportamenti (OFSTED, 1999, p. 23). Il manuale per l’Ispezione continua spiegando il processo di benchmarking: Il profitto, d’altra parte, riflette ciò che gli alunni hanno realizzato in rapporto a ciò che ci si aspettava da loro in particolare. Ci sono pochi punti chiari di riferimento. I riferimenti a termini quali “abilità” o “attitudini” richiedono cautela, perché sono discutibili gli elementi di prova che si possono avere di tali attributi. Il profitto precedente è un punto di riferimento più sicuro, se è stato misurato, ma sostanzialmente si dovrebbe giudicare il profitto applicando un’analisi approfondita ed esperta a tutti i dati che si possiedono sugli alunni, tenendo conto di ciò che conoscono, comprendono e sono in grado di fare e di ciò che si chiede loro di fare. Indicatori più ampi, come le misurazioni che confrontano gli standard con quelli di scuole simili e le misurazioni del valore aggiunto sono pure utili nell’indicare il progresso relativo degli alunni e nel fornire un indizio del livello di profitto che stanno raggiungendo (OFSTED, 1999, p. 23). In tal modo gli standard del profitto medio nel Regno Unito sono posti a confronto con quelli attesi (cioè fissati) nei benchmark di valutazione del National Curriculum (ad es.: ci si aspetta che l’80% degli alunni raggiunga il livello 4 o superiore al termine del Key Stage 3). È importante notare, tuttavia, che nel Regno Unito viene spesso usata l’idea di benchmark “contestualizzati”. In altre parole, gli standard di scuole “simili” sono considerati adatti anche per comparare i benchmark e la somiglianza è valutata sulla base dello svantaggio socio-economico (ad es.: la percentuale di alunni di una scuola che hanno diritto a ricevere i pasti gratuitamente) o il profitto precedente (ad es.: la percentuale di alunni di una scuola che hanno raggiunto in precedenza un certo livello di profitto nel National Curriculum). Questo approccio “contestualizzato” al benchmarking del livello di istruzione raggiunto nelle scuole è comune a tutte le regioni del Regno Unito (si vedano esempi di tale benchmarking nella sezione 5.2). Ulteriori esempi del modo con cui il termine “standard” è usato nella documentazione ispettiva del Regno Unito comprendono: Al termine dell’ispezione è necessario riassumere il punto di vista del team su come va la scuola. Occorre dare un solido fondamento a tale giudizio, particolarmente in termini di standard raggiunti dagli alunni in uscita, di qualità dell’educazione e soprattutto dell’insegnamento, della leadership e del management della scuola (p. 13) … rilevando quanto la scuola ha migliorato o ha mantenuto standard elevati rispetto all’ultima ispezione (p. 13) … se sta mancando o no i suoi obiettivi o se rischia di mancarli nel dare loro uno standard educativo accettabile, e quindi tutto ciò richiede speciali misurazioni (p. 14)… L’equilibrio tra questi punti di forza ed aree di miglioramento dovrebbe riflettere la qualità complessiva della scuola. Le aree di miglioramento dovrebbero costituire la base per impostare azioni di miglioramento degli 1 Definizioni analoghe sono fornite nel Manuale OfSTED per le scuole secondarie. Il National Curriculum è il curricolo nazionale obbligatorio, introdotto per tutte le scuole dell’Inghilterra e del Galles da un’apposita legge. I Key Stages si possono definire cicli scolastici, al termine dei quali vengono effettuati test per valutare gli standard di profitto raggiunti dagli alunni. L’OfSTED, o Ufficio per la definizione degli standard educativi, è l’organismo che presiede al sistema di ispezioni nelle scuole dell’Inghilterra, del Galles e dell’Irlanda del Nord. (NdT). 2 8 standard e della qualità, definiti nella sezione 8 della Scheda di Valutazione: “Cosa deve fare la scuola per migliorare ulteriormente?” (p. 17) … Il giudizio deve rilevare anche il trend degli standard nelle materie di base e se la scuola sta raggiungendo o superando gli obiettivi fissati per inglese e matematica (p. 17) …per quanto riguarda gli standard raggiunti, si evidenziano: un miglioramento sostanziale della frequenza, delle attitudini e dei comportamenti degli alunni, se in precedenza erano risultati scarsi o insoddisfacenti (p. 18) … se le scuole con standard bassi hanno avuto un miglioramento superiore alla media nazionale; se quelle con standard medi hanno tenuto il passo con i trend nazionali (p. 18) … Per quanto riguarda la leadership e il management, si evidenzia che i punti di debolezza segnalati sono stati superati; le risorse e le competenze professionali sono state indirizzate alle priorità connesse al raggiungimento degli standard; lo sviluppo dell’ autovalutazione (p. 18). (OfSTED, 1999). Negli esempi sopra riportati, il termine “standard” è usato per descrivere una gamma di attributi o caratteristiche di un individuo, soprattutto in termini di una serie di livelli attesi (cioè di standard assoluto) e il processo di definizione di uno standard atteso o assoluto è di solito inteso come definizione di standard. Al contrario, il termine benchmark o benchmarking fa riferimento al processo dinamico di giudizio sulla qualità di uno standard “osservato”. Naturalmente, in teoria, sia gli standard che i benchmark possono essere assoluti o relativi. In pratica, tuttavia, il processo di benchmarking educativo usato nel Regno Unito si concentra soprattutto sull’espressione di giudizi relativi rispetto ad uno standard “osservato”. Ad esempio, uno standard “osservato” può essere definito basso, medio, alto, accettabile ecc., secondo lo strumento di benchmarking scelto per effettuare questo giudizio. In tal modo, il processo di controllo dei benchmark comparativi offre un punto di partenza appropriato per identificare e stabilire gli obiettivi educativi futuri che risultano stimolanti, realistici e raggiungibili. Così nell’attuale contesto del Regno Unito i processi di benchmarking e di definizione degli obiettivi risultano esplicitamente integrati fra loro. 5.2 Esempi di Benchmarking (Inghilterra, Scozia, Galles, Irlanda del Nord) Nel Regno Unito, durante gli ultimi cinque anni, il benchmarking è stato riconosciuto come uno strumento potente per migliorare e determinare i tipi di cambiamento necessari per offrire un servizio pubblico moderno anche in campo educativo. Tutto ciò si pone con un contesto in cui le linee guida del cambiamento nel settore pubblico stanno diventando forti come le pressioni che si esercitano sull’industria. È stato riconosciuto inoltre che servizi pubblici efficienti ed efficaci hanno un ruolo vitale per migliorare la competitività nel settore privato. Il benchmarking, sia a livello organizzativo che individuale, è un modo di fornire gli stimoli necessari al cambiamento nell’offerta di attività essenziali e complementari e per raggiungere gli standard di servizio pubblico diffondendo le buone pratiche. I principali documenti politici come il libro bianco Modernizzare il governo (Modernising Government, Great Britain Cabinet Office, 1999) pongono in evidenza l’importanza di imparare da chi lavora meglio e di incoraggiare la diffusione e l’uso sistematico del benchmarking in tutto il settore pubblico: Nei prossimi cinque anni effettueremo un controllo su tutti i servizi e le attività dei dipartimenti di governo sia a livello centrale che locale – attraverso la consultazione degli utenti, il benchmarking e la competizione aperta – allo scopo di identificare coloro che offrono il miglior servizio in ogni singolo caso (Great Britain Cabinet Office, 1999, p. 41). Un sito web del Regno Unito “Servizio di Benchmarking per il Settore Pubblico” (sito web del PSBS, 2002), che ha lo scopo specifico di promuovere il benchmarking, offre un’utile sintesi dei benefici del benchmarking: Un benchmarking efficace, in cui i divari di prestazione vengono colmati attraverso il miglioramento, ha come risultato benefici significativi e tangibili che sono necessari nel settore pubblico, quali ad esempio: - cambiamenti graduali nelle prestazioni e nell’innovazione; - miglioramento della qualità e della produttività; e - miglioramento nella misurazione delle prestazioni. Il benchmarking può avere anche benefici effetti sugli aspetti necessari per sostenere il miglioramento continuo, quali ad esempio: - migliore consapevolezza delle prestazioni e maggiore apertura a riconoscere i punti di forza e di debolezza; 9 - apprendere dagli altri e maggiore fiducia nell’elaborazione e nell’applicazione di nuovi approcci; - maggiore coinvolgimento e motivazione degli insegnanti nei programmi di cambiamento; - rinforzo della volontà di condividere le soluzioni ai problemi comuni e costruzione del consenso intorno a ciò che è necessario per favorire i cambiamenti; - migliore comprensione del “quadro complessivo” e possesso di una più ampia prospettiva dell’interazione fra i diversi fattori (o facilitatori) che favoriscono la realizzazione di una buona pratica; e - aumento della collaborazione e della comprensione delle interazioni all’interno e fra le organizzazioni. All’interno del contesto britannico, abbiamo specificamente scelto esempi chiave di informazione sul benchmarking usati nelle diverse regioni del Regno Unito: l’Inghilterra, la Scozia, il Galles e l’Irlanda del Nord. Gli esempi comprendono (i) benchmark contestualizzati, in rapporto agli standard di profitto; (ii) benchmark relativi, in rapporto alle informazioni di tipo finanziario; e (iii) benchmark fissi, in rapporto agli standard dei contenuti curricolari. 5.2.1 Inghilterra 5.2.1.1 Il Pacchetto d’autunno (DfES, 2001) Il Pacchetto d’Autunno è un’ampia serie di informazioni fornite ogni anno a tutte le scuole inglesi (a partire dal 1998) con lo scopo di favorire l’autovalutazione e di definire gli obiettivi. Il termine “benchmarking” usato nel documento è descritto e pubblicato sul sito web del DfES nel modo seguente: Benchmarking è il nome dato al processo di misurazione degli standard di una prestazione effettuata in confronto a quelli raggiunti da altri soggetti con caratteristiche molto simili. I capi d’istituto e i senior manager devono avere familiarità con questo processo e con le informazioni che fornisce per programmare il miglioramento della scuola (sito web del DfES, 2001a). Perché usare i benchmarking? Alcune scuole sono di gran lunga più capaci di altre nell’aiutare gli alunni a raggiungere risultati adeguati al loro potenziale. Scuole con bacini d’utenza molto diversi tendono ad avere, come è ovvio, risultati diversi. Ciò che è più significativo, invece, è che le scuole con bacini d’utenza simili hanno pure risultati molto diversi. Il benchmarking porta a identificare le pratiche migliori e offre l’opportunità di imparare dalle scuole che hanno migliori prestazioni per raggiungere gli standard di profitto nella propria scuola (sito web del DfES, 2001a). Lo scopo delle informazioni sul benchmarking nella scuola riportate nel Pacchetto d’Autunno è di presentare alle scuole i risultati in modo tale da chiarire le differenze di prestazione nelle scuole che hanno caratteristiche simili … Molti studi confermano che l’apprendimento precedente è di gran lunga l’elemento più predittivo delle successive prestazioni di un alunno (sito web del DfES, 2001a). 5.2.1.2 Informazioni di tipo finanziario In termini di informazione finanziaria, il DfES definisce un benchmark come il punto fisso in riferimento al quale si può effettuare un confronto e che produce dati di unità di costo della spesa per consentire tale confronto. Questi dati sono costruiti prendendo la spesa totale e dividendola per unità appropriate. Alcuni costi unitari usati dal DfES (sito web del DfES, 2001b) comprendono: • per i costi d’insegnamento, l’unità di costo per alunno o per insegnante; • per la manutenzione degli edifici, il costo per metro quadrato; 10 • per i costi di amministrazione, i costi unitari per ora; • per la mensa, i costi per ogni pasto consumato. 5.2.1.3 Standard relativi alle materie curricolari L’informazione riguardo al benchmarking degli standard delle diverse materie è fornita dal sito web dell’Agenzia di Certificazione della Qualità per l’Educazione Superiore (QAA). La QAA sta conducendo sul sito una consultazione sulla bozza di definizione dei benchmark. Nel documento i benchmark vengono discussi e definiti in rapporto agli standard delle discipline curricolari nel modo seguente: Benchmarking. Una definizione operativa: Il Benchmarking è una comunità di discipline scolastiche, che rende esplicita la natura e gli standard dei titoli di studio che portano la disciplina nel titolo, ovvero la disciplina è compresa nel programma che conduce al titolo di studio” (sito web della QAA, 2001b). L’elaborazione di standard relativi a benchmark basati sulle discipline è stata una raccomandazione chiave del rapporto presentato dalla Commissione Nazionale di Indagine sull’Istruzione Superiore (NCIHE), ritenuta fondamentale per garantire la fiducia del pubblico e dei datori di lavori che i titoli di studio dell’istruzione superiore siano riconosciuti a livello nazionale e ampiamente conosciuti. I benchmark disciplinari sono stati rilevati nelle pubblicazioni delle scuole sulle specificazioni di programma e nell’elaborazione del modello nazionale per le qualifiche come base per creare tale fiducia. La QAA ha ricevuto un mandato per facilitare il benchmarking degli standard mediante la costituzione di “piccoli team di esperti” basati sul “raggruppamento formale delle principali aree di studio”. Le raccomandazioni della NCIHE tendevano a fare in modo che i gruppi disciplinari si concentrassero in particolare sul compito di esplicitare gli standard “di soglia” e quelli di più alto livello (sito web della QAA, 2001a). In generale l’Agenzia per la Certificazione della Qualità (QAA) ha lo scopo di: … lavorare con le istituzioni ad creare piccoli team di esperti per fornire un’informazione sugli standard basata sui benchmark (sito web della QAA, 2001b). 5.2.2 Scozia 5.2.2.1 Benchmarking nell’educazione in Scozia: una guida introduttiva (sito web dello Scottish Executive, 2001a) Questo documento fornisce una guida e un’introduzione all’applicazione dei benchmark ed è rivolto anzitutto ai senior manager delle autorità scolastiche e alle scuole. Definisce il benchmark e il benchmarking nel contesto educativo, fissa alcune fasi per l’attuazione del benchmarking e fornisce esempi di utilizzo di questi concetti a livello nazionale, locale e di singola scuola. Mostra come il benchmark può essere facilmente adattato entro le buone pratiche esistenti nelle scuole della Scozia, incluse l’autovalutazione, la programmazione e la definizione di obiettivi. I processi di valutazione e di programmazione per il miglioramento vengono riassunti in modo netto con le seguenti tre domande: Come stiamo andando? Come veniamo a conoscere la nostra situazione? Ora che ne siamo a conoscenza, cosa intendiamo fare? In questo documento il benchmark(ing) viene definito in modo specifico così: Un benchmark è uno standard o punto di riferimento in rapporto al quale si può misurare o confrontare una prestazione effettiva. Il benchmarking è il processo di comparazione. Implica molto spesso il confronto di dati, ma può anche comprendere il confronto di pratiche e di approcci con altri soggetti che sono stati identificati come quelli che hanno le migliori pratiche nel campo specifico. Una utile definizione formale potrebbe essere: il benchmarking è un approccio strutturato e centrato sul confronto con altri circa i livelli di prestazione raggiunti e/o le pratiche usate per raggiungere un risultato, in modo che si possa identificare la migliore pratica ed entrare in competizione per acquisirla. 11 Il numero e la natura dei benchmark possono essere semplici o complessi in funzione dell’aiuto che danno per decidere quanto si sta lavorando bene in rapporto ad altri e come si può migliorare. In un documento connesso, “Fissare gli obiettivi – Elevare gli standard nella scuola” (sito web The Scottish Executive, 2001b), il concetto di una linea di benchmark viene così definito: Linea di benchmark: Quando una scuola sta definendo i suoi obiettivi, ha bisogno di un punto di riferimento per dare un orientamento. La linea di benchmark serve a questo scopo collegando lo SCI e il livello di profitto che viene previsto. Il primo passo nella definizione degli obiettivi consiste nel guardare a ciascuna scuola e prendere la media del profitto di quelle che hanno le medesime caratteristiche e raggiungono il livello più alto. Queste medie vengono poi limate per costruire la linea di benchmark. 5.2.2.2 I Benchmark per la Formazione Iniziale dei Docenti Il documento “Certificazione della qualità nella formazione iniziale dei docenti – Lo standard per la formazione iniziale dei docenti in Scozia” (QAA, 2000b) sintetizza una serie complessiva e unitaria di definizioni di benchmark che si pongono come i requisiti di ogni programma per la formazione iniziale dei docenti in Scozia. Va notato, tuttavia, che l’informazione dei benchmark va elaborata e raffinata mediante l’applicazione e la riflessione. Il documento afferma che: L’informazione dei benchmark si basa su una visione dell’insegnante neo-laureato che, avendo completato positivamente un programma di formazione iniziale per i docenti della Scozia, può avere il ruolo di facilitatore efficace dell’apprendimento degli alunni, è impegnato nello sviluppo e nella riflessione professionale ed è in grado di collaborare in campo professionale con i colleghi, con altri gruppi o agenzie e con i membri delle comunità che beneficiano del servizio educativo. L’informazione dei benchmark influisce direttamente sul processo per la definizione di programmi di studio adatti più che sulla valutazione diretta dei futuri docenti. Tuttavia, poiché la valutazione è integrata entro il disegno complessivo dei programmi di studio e la concreta offerta del servizio di insegnamento e apprendimento, c’è una chiara relazione tra l’informazione dei benchmark e i criteri di valutazione. È stata posta particolare attenzione sull’identificazione degli elementi distintivi attesi dai futuri insegnanti, che hanno completato positivamente i programmi della formazione iniziale degli insegnanti in Scozia. L’informazione dei benchmark quindi specifica lo standard delle competenze, delle abilità, delle conoscenze, della capacità di comprensione e dei valori su cui i programmi dovrebbero puntare e che dovrebbero poi valutare (p. 1). 5.2.2.3 I Benchmark delle materie curricolari Il manuale per il controllo delle materie curricolari nella Scuola Superiore, curato dalla QAA (2000a), sintetizza e definisce i benchmark relativi alle diverse discipline: I benchmark relativi alle materie curricolari sono affermazioni che rappresentano le attese generali rispetto agli standard per conseguire una qualifica ad un determinato livello e in un dato ambito disciplinare. Il benchmark non consiste in un elenco di conoscenze specifiche, che è invece compito delle istituzioni nel progettare i singoli programmi. Riguarda invece il modello teorico che dà ad una disciplina la sua coerenza e identità; l’abilità cognitiva e di comprensione che va sviluppata attraverso lo studio della disciplina al livello specifico; le tecniche e le abilità associate con lo sviluppo della comprensione in quella disciplina e le richieste intellettive e gli stimoli appropriati per studiare la disciplina a quel livello (p. 7). Gli esaminatori usano appropriati benchmark come mezzi per determinare se gli esiti di apprendimento previsti dai singoli programmi siano appropriati. Le istituzioni devono dimostrare come gli enunciati dei benchmark relativi alle discipline sono stati usati per impostare le decisioni circa i risultati previsti dei programmi e calibrare le richieste complessive del modello di valutazione. L’Agenzia riconosce che le istituzioni hanno i propri cicli di programmi di controllo e che è attraverso questi che avvengono tutti i cambiamenti che riflettono gli enunciati dei benchmark. È necessario che gli esaminatori siano sensibili alle sfide che le istituzioni devono affrontare nell’operare con i benchmark per la prima volta. Nondimeno, i benchmark offrono un punto di partenza immediato per la discussione e la riflessione all’interno dei team di insegnanti e tra questi team e gli esaminatori delle discipline curricolari circa l’appropriatezza dei risultati previsti dai loro programmi. Con il tempo gli enunciati dei benchmark saranno rivisti alla luce delle informazioni provenienti dai comitati per aree disciplinari (p. 7). 12 5.2.3 • Irlanda del Nord La Circolare 2001/10 (DENI, 2001) “Definire gli obiettivi e i benchmark” Il documento delinea l’uso delle informazioni relative al benchmarking scolastico nell’Irlanda del Nord: A partire dal 1998, il Dipartimento ha fornito alle scuole i dati per assisterle nel processo di benchmarking delle loro prestazioni e di definizione degli obiettivi per il miglioramento. Lo scopo della Circolare è stato di fornire alle scuole nuovi dati per il benchmarking basati sulle valutazioni al termine dei key stage e sui risultati degli esami pubblici nel 2000. Va rilevato che questi dati non comprendono categorie con meno di 5 scuole, in cui non sono coinvolti alunni o i numeri sono troppo esigui per consentire un valido confronto (p. 2). I dati sono stati trattati in modo da consentire alle scuole di porre la loro prestazione più recente nel contesto appropriato e di confrontarla con quella delle scuole che hanno una percentuale simile di alunni che hanno diritto ad usufruire di pasti gratuiti a scuola (FSM) e che hanno dimensioni analoghe. Il diritto al pasto gratuito è stato usato per fornire un indicatore sulle condizioni delle scuole. Esse possono usare i dati per fare una valutazione realistica della loro posizione attuale, determinando da sé il raggruppamento di alunni FSM più appropriato alla scuola e i dati sugli iscritti in grado di fornire loro i benchmark di riferimento. Non rientra nei suggerimenti che i dati debbano adattarsi alle situazioni particolari di ogni scuola: le scuole devono fissare i loro obiettivi sulla base delle prestazioni correnti, dei trend e di un tasso di miglioramento che sia nello stesso tempo stimolante e raggiungibile (p. 2). 5.2.4 Galles 5.2.4.1 L’informazione sul Benchmarking per il Key Stage 1 nell’anno 2000 (The National Assembly for Galles, 2000) In questo documento l’uso dei benchmark è descritto nel modo seguente: Lo scopo dell’informazione dei benchmark è di mostrare quanto le scuole possano lavorare bene, qualunque siano le circostanze in cui operano. L’informazione dei benchmark mette insieme in semplici tabelle i risultati delle scuole con caratteristiche simili. Osservando le tabelle, si può rilevare quanto stanno lavorando bene le scuole del 25% superiore delle scuole simili alla propria. Queste informazioni dovrebbero indurre le scuole a porsi importanti domande (p. 2): - come può essere che scuole come la nostra abbiano raggiunto risultati così superiori? - che cosa possiamo imparare da ciò che queste scuole stanno facendo? - che progressi possiamo fare per raggiungere risultati simili? - come dobbiamo programmare quei progressi ed entro quale spazio di tempo? (p. 2) Le informazioni pubblicate dall’Assemblea Nazionale in questo e in altri opuscoli hanno lo scopo di fissare obiettivi realistici e stimolanti per il futuro. 5.3 Esempi di obiettivi Gli obiettivi educativi sono fissati e utilizzati nel medesimo modo in tutti i documenti editi dai governi dell’Inghilterra, dell’Irlanda del Nord, della Scozia e del Galles. Nella maggior parte dei casi, gli obiettivi sono espressi come dati quantificabili, e per l’Inghilterra e la Scozia vengono forniti esempi specifici. Lo scopo complessivo è di fissare obiettivi che siano stimolanti, realistici e raggiungibili, alla luce dei dai di benchmarking. 5.3.1 Inghilterra • Obiettivi a livello di scuola In base alla sezione 19 della Legge sull’Educazione del 1997 (HSMO, 1997), gli organi di governo della scuola sono responsabili di fissare e pubblicare entro il 31 dicembre di ciascun anno gli obiettivi di rendimento degli alunni al termine dei Key Stage 2 e 4 per l’anno scolastico successivo 13 Come indicato dalla Circolare del DfEE 11/98 “Fissare gli obiettivi nelle scuole” (DfEE, 1998), gli obiettivi dovrebbero essere fissati per i Key Stage 2 e 4 in termini di: Key Stage 2 (età di 11 anni) La percentuale di alunni che (come anticipato dall’organo di governo della scuola) nell’anno scolastico seguente saranno iscritti all’ultimo anno del Key Stage 2 e dovranno raggiungere il livello 4 o superiore nei test del National Curriculum in inglese e in matematica… (p. 2). Key Stage 4 (età di 16 anni) La percentuale di un gruppo importante degli alunni dell’età di 15 anni che raggiungono, al termine dell’anno scolastico successivo: (i) il voto da A a C in cinque o più materie all’esame di GCSE, qualifiche professionali equivalenti o una combinazione di entrambi; (ii) il voto da A* a G in una o più materie all’esame di GCSE, qualifiche professionali equivalenti o una combinazione di entrambi; e (iii) un punteggio medio, per la scuola, da raggiungere da parte di quel gruppo di alunni al termine dell’anno scolastico successivo nel GCSE e nelle qualifiche professionali… (p. 2). Nella guida per fissare gli obiettivi per il Key Stage 3, gli obiettivi dovrebbero essere posti in termini di (DfEE, 2001): Key Stage 3 (età di 14 anni) La percentuale degli alunni iscritti che raggiungeranno il livello 5 o superiore nei test del National Curriculum per il Key Stage 3 in inglese, matematica e scienze… (p. 21). • Obiettivi a livello di sistema Il governo inglese ha lanciato gli Obiettivi dell’Apprendimento Nazionale nell’ottobre 1998 per rinforzare due scopi: offrire a ciascuno una pari opportunità di raggiungere il proprio potenziale nella società e di affrontare un mercato del lavoro competitivo a livello globale. Sono stati definiti diversi obiettivi per le diverse categorie, inclusi i bambini, gli adulti e i datori di lavoro, da raggiungere entro il mese di dicembre 2002 (sito web del DfES, 2001c), in termini di: Obiettivi per le scuole: • 80% dei ragazzi di 11 anni che raggiungono gli standard attesi per la loro età nell’educazione linguistica di base (Literacy) e il 75% che raggiungono gli standard nell’educazione matematica di base (Numeracy). • 50% dei ragazzi di 16 anni che raggiungono il voto 5 o superiore nel GCSE nei gradi A*-C e il 95% che raggiunge il voto 1 o superiore nel GCSE nei gradi A*-G….. Obiettivi per i giovani • 85% degli studenti di 19 anni con una qualifica a ‘livello 2’ • 60% degli studenti di 21 anni con una qualifica a ‘livello 3’ Obiettivi per gli adulti • 50% degli adulti con una qualifica a ‘livello 3’ • 28% con una qualifica a ‘livello 4’ • riduzione del 7% degli adulti che non partecipano all’educazione permanente Obiettivi per le organizzazioni • 5.3.2 • 45% delle organizzazioni di dimensioni medie o grandi riconosciute come “Investors in People”; 10.000 organizzazioni di piccole dimensioni riconosciute come “Investors in People” Scozia Obiettivi a livello di scuola 14 Il documento “Fissare gli obiettivi – Raggiungere gli standard nella scuola” (sito web The Scottish Executive, 2001b), delinea il modello per assistere le scuole nella definizione dei loro obiettivi nell’area chiave del profitto e delle abilità fondamentali nell’educazione linguistica e matematica di base. Gli obiettivi che si chiede alle scuole di definire sono descritti in questo documento e comprendono: Obiettivi nell’educazione linguistica e matematica di base – 5-14: • Le scuole devono fissare obiettivi nelle aree chiave della lettura, della scrittura e della matematica, così come vengono misurati dalla percentuale di alunni che raggiungono o superano i livelli appropriati di profitto nel programma 5-14. Obiettivi nell’educazione linguistica e matematica di base – Livello standard: • Le scuole secondarie devono fissare un obiettivo di profitto per il S4, basato sulla percentuale degli iscritti al S4 che raggiungono un livello standard (1-6) in lingua inglese e in matematica. In tal modo l’attenzione all’educazione linguistica e matematica continua fino all’età della conclusione legale dell’obbligo scolastico. Obiettivi di rendimento – Livello standard e livello superiore: • la percentuale degli iscritti al S4 che raggiungono 5+ livelli standard in (1-6); • la percentuale degli iscritti al S4 che raggiungono 5+ livelli standard in (1-4); • la percentuale degli iscritti al S4 che raggiungono 5+ livelli standard in (1-2); • la percentuale degli iscritti al S4 che raggiungono 3+ livelli superiori in (A-C) in S5; e • la percentuale degli iscritti al S4 che raggiungono 5+ livelli superiori in (A-C) in S5. Il documento, inoltre, interpreta i diversi tipi di obiettivi nel seguente modo: Obiettivo provvisorio: Un obiettivo fissato dal SOED (Scottish Office Education Department) dopo un’attenta considerazione del rendimento iniziale della scuola e del miglioramento che si propone. Obiettivo minimo provvisorio: A tutte le scuole si chiede di contribuire ad elevare il livello di rendimento. Per quelle il cui rendimento è sopra o molto vicino alla linea di benchmark viene fissato il medesimo livello minimo di incremento rispetto a quello attuale. Gamma di obiettivi provvisori: Per le scuole il cui rendimento è al di sotto ma comunque entro la portata della linea di benchmark viene fissato un obiettivo provvisorio di miglioramento per raggiungere la linea. Questo significa che i loro obiettivi devono comprendere una gamma di incrementi, specifici per ogni scuola. Obiettivo provvisorio di valore superiore: Il valore superiore è il massimo di incremento che viene chiesto ad ogni scuola. È il medesimo per ogni scuola il cui rendimento corrente è molto al di sotto della linea di benchmark. L’incremento viene fissato ad un livello che risulti stimolante, ma raggiungibile. Obiettivo finale (piano di sviluppo): Un obiettivo che è stato concordato dalla scuola e dalle sue autorità scolastiche. Il primo documento “Raggiungere gli standard nella scuola – Fissare gli obiettivi: Pacchetto di supporto per le scuole primarie” (Scottish Office, 1998) sottolinea pure che gli obiettivi possono essere fissati come dati di incremento percentuale tra un anno e l’altro: Il punto di partenza per ciascuna scuola è il dato percentuale del mese di giugno 1998. Può esprimere il proprio obiettivo sia come dato percentuale per il mese di giugno 2001 o come incremento dei dati percentuali tra il 1998 e il 2001. Un elemento significativo del sistema educativo scozzese, che è formato di piccole scuole da meno di 10 fino a 120 alunni, è stato particolarmente sottolineato nel documento prima citato. Il testo indica, per queste piccole scuole, che le differenze fra gli obiettivi in termini di dati percentuali possono essere ampie, perché, come il documento stesso precisa: 15 I cambiamenti dei livelli di rendimento dei singoli alunni o lo spostamento di un piccolo numero di alunni in ingresso o in uscita dalla scuola possono cambiare i dati percentuali della scuola in modo notevole. In questi casi viene rilevato che sarebbe difficile per le piccole scuole fissare i propri obiettivi complessivi piuttosto che concentrarsi sulle prestazioni individuali degli alunni. 6. Conclusioni 6.1 Uso dei benchmark e degli standard nelle pubblicazioni sugli indicatori Non sono state trovate prove dell’uso di standard assoluti in EaG, KD o altri studi che riportano comparazioni internazionali. A livello nazionale, nel Regno Unito, la prova di “standard attesi” (simili per molti aspetti, ma non così concreti come gli standard “assoluti”) è stata rilevata in rapporto al profitto scolastico degli alunni nelle valutazioni del National Curriculum. Altre prove sono state rilevate in rapporto al processo di definizione degli standard per i contenuti delle discipline curricolari (ma anche per la formazione iniziale degli insegnanti). Per contro, è stato spesso applicato il concetto di standard relativi. In molti casi l’attenzione è stata fissata sulla qualità degli standard osservati e tutto ciò è stato sottolineato mediante l’uso dei termini equivalenti, ma più dinamici e “orientati all’esterno”, di benchmark o benchmarking. È stata rilevata una grande varietà di benchmark diversi sia in EaG, in KD e a livello nazionale nel Regno Unito. L’aspetto “relativo” dei diversi benchmark si è basato sulla media e sulla distribuzione delle misure degli indicatori lungo unità sistemiche/organizzative (ad es.: paesi, regioni, scuole), i periodi di tempo, i diversi settori o fasi dell’istruzione. In alcuni casi, inoltre, il concetto di “linea di benchmark relativo” è stato usato come linea di riferimento per confrontare i rapporti tra le variabili attraverso un certo numero di paesi (o scuole). La classificazione dei paesi in base agli indicatori fornisce anche un tipo di benchmark, nel senso che facilita il confronto fra paesi con risultati simili. Allo stesso modo, il raggruppamento dei risultati degli indicatori di determinati paesi è una forma di benchmarking nel senso che facilita i confronti all’interno dei gruppi (piuttosto che fra i gruppi). Anche nel Regno Unito il termine benchmarking è applicato comunemente ad un approccio in cui si creano per le scuole una serie di benchmark “contestualizzati” secondo i diversi fattori di sfondo, come lo svantaggio socio-economico (ad es.: il diritto ad usufruire gratuitamente della mensa scolastica) e il profitto precedente nelle discipline scolastiche. Questo approccio consente alle scuole di confrontarsi in modo netto con le altre scuole che hanno un bacino d’utenza simile al proprio. Negli esempi più raffinati di questo approccio usato da alcune autorità educative regionali (si veda Thomas, 2001), viene usata una modellizzazione a più livelli per calcolare i cosiddetti punteggi di “valore aggiunto” – una misurazione relativa (o benchmark) del progresso compiuto dagli alunni di una scuola a confronto con quelli di altre scuole – tenendo conto delle diversità del bacino d’utenza. 6.2 Utilità e fattibilità del benchmarking assoluto della qualità dell’educazione in confronto con quello relativo internazionale A causa delle confusioni e delle contraddizioni nell’uso di standard e benchmark, sembra che ci sia una necessità nuova e impellente di chiarire la definizione, il significato e l’uso di questi termini. Questo è particolarmente vero alla luce dei recenti accordi nel vertice dell’UE a Lisbona (marzo 2000) per fissare un comune obiettivo strategico: “Diventare l’economia della conoscenza più competitiva e dinamica del mondo, capace di avere una crescita economica sostenibile e insieme un miglioramento quantitativo e qualitativo dell’occupazione e una maggiore coesione sociale”. Anche nel vertice UE di Stoccolma (marzo 2001) sono stati fissati e adottati obiettivi comuni per i sistemi educativi. Essi comprendono l’incremento della qualità dei sistemi di istruzione e di formazione, la facilitazione dell’accesso di tutti a questi sistemi e l’apertura al mondo da parte dei sistemi di istruzione e di formazione. A seguito del documento dell’UE sugli o obiettivi comuni, Edward Tersmette (2001) ha sostenuto in modo convincente che per la prima volta ci sono obiettivi educativi comuni dell’UE e che gli stati membri si accingono ad affrontare insieme una serie di sfide e obiettivi comuni e assai concreti: 16 Come si vede, per la prima volta nella nostra storia abbiamo avvertito la necessità di parlare di che cosa ci accomuna in campo educativo piuttosto che porre l’accento sulle diversità, come si fa di solito parlando di educazione. È un “cambiamento di paradigma”, importante in questa rivoluzione silenziosa. Abbiamo riconosciuto che, sebbene i sistemi educativi presentino enormi differenze, le sfide e i risultati attesi sono simili, se non del tutto identici (Tersmette, 2001, p. 48). L’autore va oltre, sostenendo che il raggiungimento di questi obiettivi comporterà alcuni o tutti i seguenti momenti: • fissare per l’UE linee-guida combinate con specifici calendari per il raggiungimento degli obiettivi a breve, medio e lungo termine (p. 48); • stabilire appropriati indicatori e benchmark qualitativi e quantitativi, che riflettano gli standard globali più alti che potrebbero essere tagliati su misura per i diversi stati membri e i settori specifici, come mezzi di confronto delle migliori pratiche (p. 48); • trasferire queste linee guida a livello europeo nelle politiche nazionali e regionali stabilendo obiettivi specifici e assumendo iniziative appropriate, tenendo sempre conto delle differenze nazionali e regionali; • effettuare il monitoraggio periodico, la valutazione e il controllo tra pari, organizzati come processi di apprendimento reciproco. Un esempio di questo tipo di approccio viene fornito dai sedici indicatori di qualità elaborati e pubblicati dalla commissione UE (UE, 2000). Tersmette (2001) sostiene con forza che l’uso di questi indicatori di qualità a livello UE è uno strumento molto potente: Gli indicatori e i benchmark non sono costruiti solo per colmare le distanze tra le prestazioni dei diversi paesi, ma soprattutto per eliminare il divario nella comunicazione… Credo che quando incominciamo a discutere e a confrontare le questioni connesse alla qualità in ambito educativo, il processo ha forse più valore dei risultati. Riguarda gli accordi sui termini e sui concetti, la ricerca di un comune terreno di discussione e di un linguaggio comune… Lo scopo è fornire ai responsabili delle decisioni politiche dei punti di riferimento, identificare i bisogni che vanno ulteriormente approfonditi e suggerire percorsi alternativi per gli obiettivi politici (Tersmette, 2001). Sembra quindi di poter concludere che, nel contesto dei recenti accordi UE per stabilire comuni obiettivi educativi, ci saranno alla fine più possibilità di discutere la necessità, l’utilità e la fattibilità di standard assoluti rispetto ai benchmark relativi a livello UE, se non anche a livello internazionale. Non bisogna sottovalutare, tuttavia, la difficoltà di questo lavoro. A livello OCSE e in rapporto specifico agli standard espressi in termini di indicatori educativi di processo, Scheerens (1995) mette in guardia che: Il fissare concretamente degli standard per gli indicatori, tuttavia, non dovrebbe derivare direttamente dalla ricerca sull’efficacia della scuola, ma richiedere speciali procedure per la ricerca del consenso. Le differenze di contesto delle scuole di paesi diversi, per non parlare dei processi di sviluppo umano, vanno sempre tenuti in debito conto nel valutare gli indicatori di processo (Scheerens, 1995, p. 29). Nondimeno, è necessario anzitutto procedere verso un ulteriore chiarimento del significato, della definizione e dell’uso degli standard, dei benchmark e degli obiettivi nel contesto educativo. I processi coinvolti sono stati illustrati nella Figura 1, tenendo ben presente questo scopo e usandolo come punto di partenza. Le questioni emerse in questo capitolo saranno affrontate di nuovo negli studi di caso centrati sulle singole nazioni, che intendono affrontare i seguenti interrogativi: • Come vengono concettualizzati gli standard e i benchmark e come vengono definiti dai responsabili delle decisioni politiche dei paesi partecipanti? Qual è lo scopo della definizione degli standard e dei benchmark? • Quali, tra i benchmark usati nei documenti nazionali o nelle pubblicazioni sugli indicatori internazionali come Education at a Glance e Key Data, sono maggiormente apprezzati dai responsabili delle decisioni politiche dei paesi partecipanti? Per quale motivo? • Più in particolare, c’è un interesse generale per gli standard assoluti “contestualizzati” nel benchmarking internazionale della qualità della scuola? Quali sono i pro e i contro degli standard assoluti nel benchmarking internazionale della qualità della scuola? 17 Figura 1. Chiarimento delle definizioni e dei processi: proposta di un modello per l’uso di standard, benchmark e obiettivi in campo educativo. Obiettivi educativi comuni (Per es.: valutazione, politica) Discussione sulle misure o gli indicatori Accordo/Definizione di standard comuni Accordo/Definizione di misure o indicatori comuni Processo di benchmarking Processo di definizione degli standard Discussione sugli standard Standard assoluti Processo di definizione degli obiettivi ed esame/sviluppo degli incentivi Benchmark relativi o contestualizzati Relativi, in quanto offrono un punto di riferimento (p.es. paesi, periodi di tempo, settori, fasi). Contestualizzati, in quanto tengono conto dei fattori intermedi. Bibliografia Aldrich, R. (2000). Educational Standards in Historical Perspective. In Goldstein, H. and Heath, A. (eds.), Educational Standards. New York, Oxford University Press Inc.: 39-67. Baker, E. L. and Linn, R. L. (1995). United States. In OECD, Performance Standards in Education - In Search of Quality. Paris, OECD: 197-209. Bartholomew, D. J. (2000). The Measurement of Standards. In Goldstein, H. and Heath, A. (eds.), Educational Standards. New York, Oxford University Press Inc.: 121-150. Cresswell, M. (2000). The Role of Public Examinations in Defining and Monitoring Standards. In Goldstein, H. and Heath, A. (eds.), Educational Standards. New York, Oxford University Press Inc.: 69-120. DENI (2001). Target Setting and Benchmarking (Circular 2001/10). Bangor, Curriculum & Assessment Branch, Department of Education. DfEE (1997). Excellence in Schools. London, The Stationery Office. DfEE (1998). Target-Setting in Schools - Circular Number 11/98. London, Department of Education and Employment. DfEE (2001). Target Setting at Key Stage 3 (KS3). London, Department of Education and Employment. DfES (2001). Autumn Package. London, DfES. 18 DfES Website (accessed Nov., 2001a). Benchmarking. http://www.dfes.gov.uk/a-z/ benchmarking.html DfES Website (accessed Nov., 2001b). Financial z/FINANCIAL_BENCHMARKING.html Benchmarking. http://www.dfes.gov.uk/a- DfES Website (accessed Nov., 2001c). National Learning for England for http://www.dfes.gov.uk/a-z/NATIONAL_LEARNING_TARGETS_keydocs_ba.html 2002. Earl, L. and Graham, N. (1995). Canada (Ontario). In OECD, Performance Standards in Education - In Search of Quality. Paris, OECD: 55-77. EU (2000). Key Data on Education in Europe. Luxembourg, Office for Official Publications of the European Communities. Gipps, C. (1990). Assessment - A Teachers' Guide to the Issues. London, Hodder & Stoughton. Goldstein, H. and Heath, A. (eds.) (2000). Educational Standards. New York, Oxford University Press Inc. Great Britain Cabinet Office (1999). Modernising Government. London, The Stationery Office. HMSO (1997). Education Act 1997. London, The Stationery Office. Lawton, D. (1987). The Role of Legislation in Educational Standards. NUT Education Review, 1, 1. Lowe, J. (1995). Overview. In OECD, Performance Standards in Education - In Search of Quality. Paris, OECD: 7-25. OECD (2001a). Education at a Glance - OECD Indicators Highlights. Paris, OECD. OECD (2001b). Education at a Glance - OECD Indicators. Paris, OECD. OECD (2001c). Education Policy Analysis. Paris, OECD. OFSTED (1999). Handbook for Inspecting Primary and Nursery Schools - with Guidance on SelfEvaluation. London, The Stationery Office. OFSTED (2001). 2001 PANDA Report for An Anonymous Primary School - Unique Reference Number (URN): 999997 - DfES Number: 9990997 - Unvalidated Data. London, OFSTED. OFSTED Website (accessed Nov., 2001). Introduction to PANDA's (Performance Assssment Reports). http://www.ofsted.gov.uk/public/summaries/pandainfo.htm PSBS Website (accessed Feb., 2002). Benefits http://www.benchmarking.gov.uk/about_bench/benefits.asp From Benchmarking. QAA (2000a). Promoting Higher Quality - Handbook for Academic Review. Gloucester, Quality Assurance Agency for Higher Education. QAA (2000b). Quality Assurance in Initial Teacher Education - The Standards for Initital Teacher Education in Scotland. Gloucester, Quality Assurance Agency for Higher Education. QAA Website (accessed Nov., 2001a). QAA Consultation: Benchmarking Academic and Practitioner Standards. http://www.qaa.ac.uk/crntwork/benchmark/ nhsbenchmark/nhsdoc/consultation.doc QAA Website (accessed Nov., 2001b). QAA Consultation: Benchmarking Academic Standards. http://www.qaa.ac.uk/crntwork/benchmark/app2.htm Ruddock, G. (1995). England and Wales. In OECD, Performance Standards in Education - In Search of Quality. Paris, OECD: 79-102. Scheerens, J. (1995). Introduction - Measuring the Quality of Schools. Paris, OECD. Scheerens, J. (2001). BEQUAD paper (1). Tersmette, E. (2001). Benchmarking of Quality in Education: a European Perspective. In Troost, N. (ed.), Inspecting in a New Age - International Meeting on the Occasion of the 200th Anniversary of the Netherlands Inspectorate of Education. Utrecht, The Netherlands Inspectorate of Education. The National Assembly for Wales. (2000). Benchmarking Information for Key Stage 1 2000. Cardiff, Schools Performance Division 3 national Assembly Training and Education Department 19 The Scottish Executive Website (accessed Dec., 2001a). Benchmarking in Scottish Education: An Introductory Guide. http://www.scotland.gov.uk/structure/hmi/ ineabench.htm The Scottish Executive Website (accessed Dec., 2001b). Setting Targets - Raising Standards in Schools. 2001. http://www.scotland.gov.uk/library/documents2/ stan-03.htm The Scottish Office (1998). Raising Standards - Setting Targets: Primary Schools Support Pack. Edinburgh, The Scottish Office. Thomas, S. (2001) Dimensions of Secondary School Effectiveness: Comparative analyses across regions. School Effectiveness and School Improvement. 20