Qualità del Software e
ISO9126
Valutazione e Qualità del Prodotto
Software
Mario Capurso
http://info.bazarinfo.info
Valutare o non valutare, questo è il
problema…






E’ piacevole valutare ?
Dissonanza cognitiva e valutazione
Valutare che cosa ?
Valutare quando ?
Valutare come ?
E dei risultati che farne ?
Valutare quando e perchè

Valutazione intermedia o formativa


per modificare il processo produttivo o
evidenziare le lacune del prodotto
Valutazione finale o sommativa

prima di vendere il prodotto
Valutare perché - 2





Valutazione sincronica: valuta qui ed ora
Valutazione diacronica: valuta lo stesso
prodotto in un arco temporale
Valutazione proattiva: evidenzia le lacune e
stimola al superamento
Valutazione retroattiva: riflette sul prodotto
ultimato (post mortem)
Valutazione di impatto: valuta l’impatto del
prodotto sull’utente
Valutare – Chi e come






Autovalutazione
Eterovalutazione
Valutazione tra pari
Valutazione di gruppo
Valutazione per confronto
Valutazione in presenza di criteri
Valutare come - modello
Come valutereste l’acquisto dell’auto
nuova ?
Valore
Costo di
Acquisto 50%
Euro
0- 8000 10
8001-10000
8
10001-12000
7
…
1-10
Economicità 25%
Km/Litro
Sicurezza 25%
Danni al
Crash Test
Indicatori e metriche





Serve un indicatore finale di qualità (1-10 ?)
Una struttura ad albero con le caratteristiche
in cui si suddivide la qualità ed i pesi relativi
Delle metriche per le caratteristiche
Degli indicatori associati ai valori delle
metriche
Delle prove oggettive
Valutare come – indicatori e
prove oggettive



Risposte vero/falso
Risposte a scelta multipla
Risposte aperte
Cosa fare

Definire:




Il tipo di prova (iniziale, intermedia, finale)
I destinatari
Lo schema (struttura, pesi, metriche,
indicatori, domande)
Come inserire le domande nella prova
oggettiva
Valutazione come analisi
campionaria






Il test deve essere un campione del software
Deve essere rappresentativo
Ciascun ambito, area o disciplina può
richiedere tipologie diverse di domande
Più domande per argomenti “più importanti”
Raggruppare insieme per tipologia di
domanda e (all’interno) per argomento
Dai quesiti più semplici ai più complessi
Da non dimenticare







Correttezza linguistica dei quesiti
Formulazione chiara
Istruzioni per la prova chiare
Ogni quesito abbia un identificativo
Impaginazione grafica leggibile
Fotocopiatura di qualità
Con immagini funzionali al testo ed inserite
opportunamente
Buone Pratiche
Sistemi Automatici per la
valutazione


On line oppure Off line
Funzionalità





I software più diffusi:






stabilire prioritariamente il punteggio;
scegliere tra tipi di domande: vero/falso, scelta multipla, ecc.
fornire aiuti al valutatore in difficoltà;
elaborare e analizzare i risultati.
Question Mark
Quiz Faber
Web Quiz 2002
Winask 2000
JsVal
(www.campustore.it)
(www.lucagalli.net)
(www.smartlite.it)
(www.smartlite.it)
(www.far.unito.it/JsVal)
Si può fare da sé (con VBA e Powerpoint)
I Pregi dei sistemi automatici





Costruzione di un archivio di domande
da arricchire e condividere
Differenziare le prove
Distribuire casualmente le domande
Interagire con il valutatore a distanza
Sottoporre a test più valutatori in
parallelo
Esempio: Valutazione della
qualità del Software Didattico





Valutazione del prodotto (non del
processo)
Non inventate ma adottate e adattate
Il SD è software
Il SD è software, ma non solo
OK/NON OK vs. Valutazione dettagliata
Obiettivo della valutazione



Per un autore: la decisione di migliorare il
prodotto
Per un utente: la decisione di comprare il
prodotto
Per un editore
 La decisione di migliorare il prodotto (come
produttore)
 La decisione di distribuire il prodotto (come
distributore)
Criteri di Valutazione


Tecnici (ISO 9126 - Qualità del
Software)
Appropriatezza come:


Educativi
Di Contenuto

Operabilità come:

Commerciali
Gli Aspetti tecnici

Lo Standard ISO 9126 sulla Qualità del
Software






Funzionalità
Affidabilità
Manutenibilità
Portabilità
Efficienza
Usabilità
Qualità del Software e Software
Educativo Multimediale

Usabilità




Comprensibilità
Facilità nell’essere appreso
Facilità d’uso
Funzionalità


Appropriatezza per lo scopo specifico
…
Appropriatezza: Aspetti
Educativi







Prequisiti
Obiettivi di apprendimento
Chiarezza Informativa
Flessibilità
Valutazione del processo di apprendimento
Valutazione dei risultati
...
Appropriatezza: Aspetti di
Contenuto






Presenza di un indice
Struttura Modulare
Capacità di creare interesse
Aspetti Estetici
Aspetti Grafici
...
Appropriatezza: Caratteristiche
Educative e Utenti di riferimento


Sono chiaramente specificati l’età ed il
livello scolastico degli utenti di
riferimento ?
Sono chiaramente specificati i
prerequisiti in termini di conoscenze ed
abilità ?
Appropriatezza: Caratteristiche
Educative e Aspetti formativi



Sono chiaramente specificati gli argomenti
coperti e gli obiettivi di apprendimento ?
Gli obiettivi di apprendimento sono
compatibili con l’età e la competenza degli
utenti di riferimento ?
Gli obiettivi di apprendimento ed i contenuti
sono consistenti con i requisiti del curriculum
ufficiale ?
Appropriatezza: Caratteristiche
Educative e Materiali di supporto
formativo



Sono previsti ?
Sono chiari ed appropriati ?
Includono:





una introduzione al progetto formativo del SD?
strategie d’uso con differenti tipi di utenti ?
idee per l’uso congiunto con altri materiali ?
strategie di gestione per situazioni differenti ?
indirizzi Web/e-mail con altre risorse ?
Appropriatezza: Caratteristiche
Educative e Capacità di adattamento
alle necessità individuali



Il SD fornisce feedback differenziato e
non stereotipato ?
Permette differenti cammini di
apprendimento ?
Presenta una sequenza di attività
graduate secondo le abilità personali ?
Appropriatezza: Caratteristiche
Educative e Strategie per stimolare
motivazione, attenzione e memoria






Gli obiettivi e le fasi del processo di
apprendimento sono progettati per
aumentare la motivazione dell’utente ?
La presentazione è accattivante ?
Il SD è efficace nel mantenere l’attenzione ?
Le attività richieste sono varie ?
Le difficoltà sono ben distribuite ?
L’ informazione è ripetuta in differenti forme
per aiutare il ricordo ?
Caratteristiche Educative
Uso

Il SD può essere usato:







Per l’apprendimento a casa
Per l’apprendimento in classe
Come compito a casa
Come verifiche in classe
Come risorsa per l’autoistruzione
Per attività di gruppo
Su diversi computers in rete
Caratteristiche Educative
Incoraggiamento al pensiero critico




L’utente è incoraggiato a generalizzare ?
L’utente è incoraggiato a dedurre conclusioni
o inferenze ?
L’utente è incoraggiato a analizzare problemi
e a generare soluzioni multiple ?
L’utente è incoraggiato a fare esperimenti e
ad acquisire conoscenza osservando i
risultati ?
Caratteristiche Educative
Valutazione dei risultati del discente




Sono previsti test di valutazione ?
I test sono rilevanti rispetto agli obiettivi di
apprendimento ?
Includono :
 test di ingresso ?
 quiz/test di unità ?
 completamento di una procedura simulata?
 esame finale ?
Sono suggerite ulteriori attività di revisione
dopo dei cattivi risultati in un test ?
Caratteristiche Tecniche
Funzionalità




I requisiti HW e SW sono compatibili
con le attrezzature disponibili?
L’installazione è facile ?
Ci sono errori di funzionamento ?
Il software è protetto da modifiche ?
Caratteristiche Tecniche
Funzionalità presenti

Sono presenti le seguenti caratteristiche:







salva su disco ?
copia su disco ?
stampa ?
collegati ad Internet per aggiornamenti ?
registra il percorso dell’utente?
registra i dati dell’utente ?
produce rapporti sul progresso nell’apprendimento
del discente ?
Caratteristiche Tecniche
Qualità dei media





I testi sono facili da leggere ?
La grafica è di buona qualità ?
Il colore è usato in maniera coerente e
attrattiva ?
L’audio ed il video sono di buona
qualità ?
L’utente ha controllo sugli elementi
audio e video ?
Caratteristiche Tecniche
Livello di Interattività




L’informazione è interrotta frequentemente da
interazione con l’utente ?
L’utente può correggere una risposta errata ?
L’utente può provare più di una volta a
rispondere ad una domanda ?
Le attività e le domande sono generate a
caso o ordinate in ordine differente?
Caratteristiche Tecniche
Analisi dei Responsi



Il feedback è supportivo ?
Il feedback è informativo ?
Il feedback è vario ?
Usabilità
Facilità di uso





Il software è facile da usare ?
Richiede conoscenze informatiche
avanzate ?
C’è una funzione di aiuto in linea ?
Le indicazioni sono chiare, accurate e
disponibili in ogni momento ?
Gli strumenti di valutazione sono semplici
da usare ?
Usabilità
Interfaccia Utente


I menu, bottoni e le icone sono chiari e
semplici da comprendere ?
Sono usati in maniera coerente ?
Navigazione


La navigazione nel software è semplice ?
Sono permessi cammini differenti
attraverso il software?
Usabilità
Controllo da parte dell’utente





E’ possibile per l’utente andare indietro ed
avanti facilmente ?
Si può accedere liberamente a differenti parti
del software, o c’è un percorso obbligatorio
da seguire ?
E’ possibile per l’utente “annullare” ogni
decisione ?
E’ possibile uscire in ogni istante ?
Si può riprendere dal punto da cui si è usciti ?
Contenuto
Qualità del contenuto

Il contenuto è:






accurato?
chiaro?
completo?
aggiornato?
Le parti testuali, pittoriche, audio e video sono
ben bilanciate nel presentare il contenuto?
Le immagini, i grafici ed video clips sono
rilevanti ?
Contenuto
Appropriatezza


Il livello di lettura è appropriato?
Ci sono differenti livelli di difficoltà ?
Struttura



La struttura interna segue un ordine logico ?
Il software ha una struttura modulare ?
Gli obiettivi di apprendimento di ciascun modulo
sono specificati ?
Contenuto
Strumenti di Aiuto

Ci sono i seguenti strumenti di aiuto:






indice?
menu di contenuto?
segnalibri?
glossario?
funzione di ricerca?
Gli strumenti di aiuto sono facili da
usare?