Qualità prima e dopo il collaudo Un'esperienza concreta sull'applicazione delle linee guida (SIL - Sistema Informativo Lavoro) Giovanni Pistarini Compuware Spa Convegno Confindustria - CNIPA La qualità negli acquisti di beni e servizi ICT Parma, 28 novembre 2005 Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 1 Le multidimensioni della Qualità …conformità con i requisiti funzionali e prestazionali espiciti, con standard di sviluppo documenti e con le caratteristiche implicite che è lecito attendersi … (R.S.Pressman, Ingegneria del software, McGraw Hill, libri Italia 200) …conseguenza dell’efficacia e della efficienza dei processi che li hanno generati e li supportano (UNI ISO 9004-4) … “assenza di difetti che potrebbero bloccare l’uso sel prodotto o condurlo a fornire risultati e/o prestazioni inaccettabili” (C.Jones, Applied software measurement, 2°ed. McGraw Hill, 1996) … “soddisfazione dell’utente ed aderenza ai requisiti” (W.E.Perry, Quality Assurance for information Systems, QED Publishing Company, 1991) Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 2 1 click Le multidimensioni della Qualità Slide di transizione requisiti funzionali e prestazionali Strategia di Acquisizione standard di sviluppo documenti Gestione del contratto Processo di QA dei processi Piano di Qualità Controlli di Qualità prestazioni inaccettabili soddisfazione dell’utente soddisfazione dell’utente Parma - 28 novembre 2005 Collaudo Metriche assenza di difetti Prodotti / Servizi Livelli di Servizio aderenza ai requisiti Certificazione di Qualità Giovanni Pistarini – Compuware Spa 3 Le multidimensioni della Qualità dei processi Strategia di Acquisizione requisiti funzionali e prestazionali Gestione del contratto Processo di QA assenza di difetti prestazioni inaccettabili aderenza ai requisiti Piano di Qualità Controlli di Qualità Prodotti / Servizi standard di sviluppo documenti soddisfazione dell’utente Parma - 28 novembre 2005 Metriche Collaudo Livelli di Servizio Certificazione di Qualità Giovanni Pistarini – Compuware Spa 4 1 click Le multidimensioni della Qualità dei processi Strategia di Acquisizione requisiti funzionali e prestazionali Gestione del contratto Processo di QA assenza di difetti prestazioni inaccettabili aderenza ai requisiti Piano di Qualità Controlli di Qualità Prodotti / Servizi standard di sviluppo documenti soddisfazione dell’utente Parma - 28 novembre 2005 Metriche Collaudo Livelli di Servizio Certificazione di Qualità Giovanni Pistarini – Compuware Spa 5 Qualità prima e dopo il collaudo Perchè questo titolo ? Strategia Appalto Studio fatt. Cap. Tec Contratto Collana di 7 Manuali, di cui 4 supportano i passi operativi fondamentali della definizione della qualità della fornitura Governo Piano di Qualità Off. Tec. Piano di Progetto Piano Realizzativo Assicurazione della Qualità (PAQ 6.1.3) Processi Trasversali Requisiti Visibilità della Qualità Disegno Sviluppo Test Erogazione Manutenzione Utente finale Esposizione verso l’esterno Processi interni ... Indicatori di Qualità Collaudo 36 Lemmi ad oggi Controllo dei livelli di servizio (CLS 3.5.1) Misura Customer Satisfaction (MCS 4.1.3) Quando si richiede QUALITA’ è indispensabile parlarne fin dal primo istante fino alla fine, e non solo quando inizia l’esposizione verso l’esterno (amministrazione e utenti). Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 6 6 click PAQ Assicurazione della Qualità (6.1.3) Definizione “Assicurazione della Qualità (PAQ) è l’insieme delle attività sistematiche e pianificate messe in campo dal fornitore per dare evidenza e fiducia all’Amministrazione che i servizi e i prodotti contrattualmente forniti siano conformi ai requisiti.” Determinare il livello di Qualità minimo ... “Determinare il livello di qualità minimo richiesto e le modalità di assicurazione della qualità è una attività che si deve preparare già nell’analisi del rischio (v.classe di fornitura PGE – Gestione)... per essere valutata rispetto ai potenziali costi (e rischi) derivati dalla non qualità raggiunta.” Parte integrante della fornitura “È importante considerare il PAQ, e con esso il sistema di Controllo della Qualità (ad esempio il piano di test e il sistema realizzato per effettuarlo) e gli altri sistemi connessi (ad esempio gestione della configurazione), come parte integrante della fornitura del prodotto o servizio, e non un mezzo finalizzato alla sola consegna ed accettazione della fornitura.” “Questa considerazione, se applicata, permette di innescare un meccanismo di assicurazione della qualità tale da permettere un progressivo e continuo miglioramento dei livelli qualitativi. “ Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 8 2 click Assicurazione della QUALITA’ (PAQ 6.1.3) Qualità richiesta 36 Lemmi ad oggi SLA richiesto Classi di fornitura Erogazione accettazione Collaudo Test accettazione prestaizonale Collaudo Manutenzione Utente finale Analisi ... qualità funzionale precollaudo test Sviluppo e test Misure Disegno avviamento Requisiti Verifica baseline (UNI CEI ISO/IEC 12207) Revisioni Revisioni Revisioni Controlli di Qualità • verifica • validazione • riesame • accettazione Ispezioni Assicurazione della Qualità (PAQ 6.1.3) Controllo dei livelli di servizio (CLS 3.5.1) Misura Customer Satisfaction (MCS 4.1.3) Il Processo di Assicurazione della Qualità deve prevedere e garantire i controlli di qualità più opportuni all’interno di ogni fase del progetto, per ridurre al minimo il ‘costo della qualità’. Il Controllo dei livelli di servizio deve prevedere quelle misurazioni previste per la verifica della regolare e corretta erogazione dei servizi e della qualità verso l’utente finale Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 9 2 click Perchè preoccuparsi (della qualità) Robert Cringely (giornalista scientifico): “…se l’automobile avesse seguito lo stesso sviluppo del computer, una Rolls-Royce costerebbe oggi giorno 100 $, farebbe un milione di kilometri con 5 litri… ed esploderebbe una volta all’anno causando la morte di tutti i passeggeri” Linee Guida Qualità nelle fornitura ICT Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 10 1 click Perchè preoccuparsi (della qualità) non solo un discorso di eccellenza Maggiore complessità delle applicazioni e sistemi con esposizione diretta verso gli utenti finali 70% dei progetti implementati fuori tempo e budget previsto 60-70% dei progetti falliti sono per carenza nella gestione e dei requisiti (source: META Group) (source: Newport group study) Rischi e costi derivati dalla ‘non qualità’ sempre più insostenibili Software developers Software users Total Cost of Inadequate Testing (billions) $21.2 $38.3 $59.5 Feasible Cost Reduction (billions) $10.6 $11.7 $22.2 Source: National Institute of Standards and Technology The Economic Impacts of Inadequate Infrastructure for Software Testing May 2002 Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 11 1 click Il COSTO della Qualità esiste un vantaggio economico nella Qualità? Cost of NonConformance I costi delle non conformità rappresentano gli effetti negativi di malfunzionamenti e incorretti sviluppi Includono: • Sviluppo di servizi/ funzioni non adeguate alle richieste dell’utente • le attività di correzione dei difetti e retesting; • eccessivo consumo di risorse; • distribuzione del fix, gestione del disservizio e dell’utente; • oltre ai danni all’immagine, la perdita di produttività,… Parma - 28 novembre 2005 Investment in Conformanc I costi per la conformità rappresentano gli investimenti per ridurre i costi legati alle non Conformità. Includono: • attività di assicurazione e controllo qualità (test, verifiche, validazioni, revisioni, ispezioni,collaudi…) • analisi e gestione delle non conformità; • tutti i processi atti a garantire e controllare gli standard di qualità prefissati (processi, procedure, ...) Giovanni Pistarini – Compuware Spa 12 2 click Assicurare minor costo della Qualità per avere la Qualità richiesta Cost of Costi indotti dalle NonConformance non conformità e I costi delle non conformità Investment in Conformanc difetti rilevati rappresentano gli effetti negativi di malfunzionamenti e incorretti sviluppi Costi Includono: • Sviluppo di servizi/ Quality funzioni non adeguate alle richieste dell’utente • le attività di correzione dei difetti e retesting; • eccessivo consumo di risorse; Risk • distribuzione del fix, gestione del disservizio e dell’utente; • oltre ai danni all’immagine, la perdita Investimento di produttività,… *QUALITYPOINT : denominazione della metodologia di test Compuware Parma - 28 novembre 2005 Investimenti qualità, I costi inper la conformità processi e controlli rappresentano gli investimenti per ridurre i costi legati alle non Conformità. Point* $$$ nella qualità Includono: • attività di assicurazione e controllo qualità (test, verifiche, validazioni, revisioni, ispezioni,collaudi…) • analisi e gestione delle non conformità; • tutti i processi atti a garantire e controllare gli standard di qualità prefissati (processi, procedure, ...)ISO 9004-1 Fonte Giovanni Pistarini – Compuware Spa 13 1 click Qualità ? Opportunità per tutti !! (Qualità come conformità ai requisiti) Obiettivo (cap 3.1): “L’Assicurazione della Qualità ha come obiettivo primario di garantire che i processi produttivi producano qualità nel prodotto realizzato: la precocità della rilevazione di anomalie e non conformità è anche alla base di un processo di sviluppo a più basso costo, data l’incidenza elevata che nei costi globali assumono le rilavorazioni effettuate nelle parti finali del processo produttivo o dopo la sua conclusione (manutenzione).” Il costo per la scoperta delle ‘non conformità’ $10 Requirements Gathering Parma - 28 novembre 2005 $100 $1,000 $10,000 Design Coding Testing $100,000 Production Giovanni Pistarini – Compuware Spa 15 I costi ‘pericolosi’ della (non) Qualità importanza del PAQ – esempio sviluppo SW Il Costo della Qualità può essere considerato come il costo per rimuovere le ‘NON conformità’ presenti (esempio 100) 5 n.c. Requirements Gathering 3.411.550€= 5 x 10 + €10 Requirements Gathering Parma - 28 novembre 2005 15 n.c. 10 n.c 40 n.c. Design Coding Testing 15 x 100 + 30 n.c. Production 10 x 1000 + 40 x 10.000 + 30 x 100.000 €100 €1,000 €10,000 Design Coding Testing €100,000 Production Giovanni Pistarini – Compuware Spa 16 1 click Ridurre i costi della qualità significa intervenire all’origine Il costo si abbatte intervenendo vicino all’origine delle ‘non conformità’ 5 n.c. 25 n.c Requirements Requirements Gathering Gathering 264.250€ = 25 x 10 + 3.411.550€ $10 Requirements Gathering Parma - 28 novembre 2005 15 n.c. 40 10 n.c. n.c 30 40 n.c. 3 n.c. Design Design Coding Coding Testing Testing 40 x 100 + 30 n.c. 2 n.c. Production Production 30 x 1000 + 3 x 10.000 + 2 x 100.000 $100 $1,000 $10,000 Design Coding Testing $100,000 Production Giovanni Pistarini – Compuware Spa 17 Ridurre i costi della qualità significa intervenire all’origine Investire in qualità e investire al momento giusto (pianificare!!) Qualità richiesta Linee Guida Coding Testing Production Assicurazione della Qualità (PAQ 6.1.3) Requisiti Disegno Sviluppo e test Collaudo n.c. n.c. Qualità nelle fornitura ICT n.c. Parma - 28 novembre 2005 n.c. Erogazione difetto difetto accettazione prestaizonale qualità funzionale precollaudo test Revisioni Revisioni Ispezioni Controlli di Qualità Revisioni Costi Qualità programmati e concordati tra PA e Fornitori 2 n.c. difetto Design 3 n.c. Collaudo Requirements Gathering 30 n.c. accettazione 40 n.c. Test 25 n.c Manutenzione Periodo di garanzia n.c. Costi Qualità successivi e imprevisti Alto Impatto sul servizio Spese successive della PA Difficoltà nel recupero Utente finale n.c. Giovanni Pistarini – Compuware Spa Rilevazione Non Conformità - BIP Base informativa di Progetto (PGE Gestione) 18 2 click Come valutare un processo di Qualità ? Un PAQ deve essere misurato sulla sua capacità di rilevare le non conformità il più vicino possibile alla loro ‘origine’ Tanto più questa distanza è minore, tanto minori saranno i costi di intervento per ristabilire il livello qualitativo richiesto (rimuovere la n.c.) Come misurare l’efficacia del Processo di Assicurazione della Qualità ? “Il sistema di registrazione delle non conformità ed anomalie, oltre che essere un indispensabile processo di supporto, rappresenta un elemento di ingresso per il PAQ, fondamentale per valutare l’efficacia e qualità del processo di assicurazione della qualità implementato dal fornitore e permettere dunque i necessari interventi per migliorarlo nel rispetto degli obiettivi e dei costi del progetto.” (Descrizione delle attività e dei prodotti Cap 5) Metriche come la ”Defect Effectiveness” (Efficacia di rimozione delle Utente Sviluppo Removal Collaudo Erogazione Manutenzione Requisiti Disegno non conformità).“e test Essa misura la percentuale di non conformità finale rilevate e rimosse prima del rilascio della fornitura, o ad una certa fase di sviluppo del Periodo di garanzia Garanzia n.c. n.c. n.c. n.c. n.c. n.c. n.c. n.c. fornitura.” n.c. n.c. progetto, sul totale delle non conformità presenti sulla (Misurare Rilevazione Non Conformità - BIP5.2.2) Base informativa di Progetto (PGE Gestione) l’efficacia della qualità Cap Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 19 2 click Qualità prima e dopo il collaudo Test e collaudo (o collaudo ?) Il test è la parte più costosa nelle attività di controllo qualità PAQ Ma è l’ultima occasione per intervenire a costi accettabili e ridurre i rischi Per non perdere sia il ponte che i camion!! Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 20 1 click Qualità prima e dopo il collaudo Test e collaudo (o collaudo ?) Il test è la parte più costosa nelle attività di controllo qualità PAQ Ma è l’ultima occasione per intervenire a costi accettabili e ridurre i rischi La Svolta: il test come parte integrante della fornitura Diventa argomento di valutazione, anche economica Si dispone di un asset utilizzabile a seguito di successive manutenzioni Si assicura la sua corretta preparazione (fin dalle prime fasi) e qualità (copertura, efficacia e riusabilità) Si predispone ad un collaudo affidabile e rapido Applicazione o servizio più documentato Attenzione È una parte attiva del sistema, va mantenuta Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 21 1 click Qualità prima e dopo il collaudo Un'esperienza concreta sull'applicazione delle linee guida (SIL - Sistema Informativo Lavoro) Giovanni Pistarini Compuware Spa Convegno Confindustria - CNIPA La qualità negli acquisti di beni e servizi ICT Parma, 28 novembre 2005 Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 22 Borsa Nazionale del Lavoro (www.borsalavoro.it) Art. 2. Decreto Legislativo 10 settembre 2003, n. 276 (legge Biagi) La BCNL è un sistema unitario di servizi web, di facile accesso ed utilizzo, che permette a lavoratori ed imprese di usufruire delle risorse informative dei servizi all’impiego distribuite su tutto il territorio nazionale, senza obbligo di intermediazione. Dimensioni notevole di sviluppo Dal punto di vista informatico ed organizzativo, è un sistema federato distribuito, costituito da nodi regionali che comunicano utilizzando un sistema di cooperazione applicativa basato su web services e connessioni interdominio RUPA (rete delle reti regionali). Primo progetto dimensioni nazionali del MLPS Primo rilascio 8/7/2005 Il sistema BCNL si integra con quelli degli Enti previdenziali per offrire a lavoratori e imprese un ampio insieme integrato di servizi per l’impiego. Attualmente su 8 Regioni Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 23 Borsa Nazionale del Lavoro (www.borsalavoro.it) Art. 2. Decreto Legislativo 10 settembre 2003, n. 276 (legge Biagi) La BCNL è un sistema unitario di servizi web, di facile accesso ed utilizzo, che permette a lavoratori ed imprese di usufruire delle risorse informative dei servizi all’impiego distribuite su tutto il territorio nazionale, senza obbligo di intermediazione. Dimensioni notevole di sviluppo Dal punto di vista informatico ed organizzativo, è un sistema federato distribuito, costituito da nodi regionali che comunicano utilizzando un sistema di cooperazione applicativa basato su web services e connessioni interdominio RUPA (rete delle reti regionali). Primo progetto dimensioni nazionali del MLPS Primo rilascio 8/7/2005 Il sistema BCNL si integra con quelli degli Enti previdenziali per offrire a lavoratori e imprese un ampio insieme integrato di servizi per l’impiego. Attualmente su 8 Regioni Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 24 Modello logico della rete BCNL elevata complessità e catena tecnologia Imprese Dominio MinWelfare Indice Nazionale Porta Individui INTERNET Canale di interscambio e cooperazione Indice Regionale Sistema Gestione Canale Indice Regionale Porta Porta Dominio Ente B Porta Op. Privati Dominio Ente A CPI Parma - 28 novembre 2005 CPI CPI CPI Giovanni Pistarini – Compuware Spa 25 Borsa Nazionale del Lavoro attenzione alla Qualità Recepimento delle direttive CNIPA in termine di qualità del software Costruzione di un capitolato attento agli aspetti qualitativi Utilizzo di una terza parte (Compuware) come partner dell’amministrazione nel supporto alle proprie attività di verifica e validazione e all’impostazione delle strategie di test e collaudo. Per riuscire ad interpretare al meglio le situazioni per garantire il livello di qualità nei tempi e risorse disponibili Studio fatt. Cap. Tec Piano di Qualità Off. Tec. Piano di Progetto Piano Realizzativo Assicurazione della Qualità Requisiti Disegno Visibilità della Qualità Sviluppo Processi interni Test Collaudo Erogazione Manutenzione Utente finale Esposizione verso l’esterno Controllo dei livelli di servizio Misura Customer Satisfaction Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 26 Borsa Nazionale del Lavoro da capitolato al piano di qualità Nel capitolato e Piano di Qualità: Richieste esplicite in termini di requisiti di qualità e di processo Utilizzo della norma ISO/IEC 9126 per le caratteristiche di qualità dei prodotti Oltre alla definizione di metriche, massima attenzione al processo di assicurazione della qualità, al test e collaudo e ai relativi elementi di metodologia Richiesto un collaudo funzionale/integrazione, prestazionale e di qualità (a copertura di tutti gli aspetti ... e requisiti ..) Studio fatt. Cap. Tec Piano Piano di diQualità Qualità Off. Tec. Piano Piano di diProgetto Progetto Piano Piano Realizzativo Realizzativo Assicurazione della Qualità Requisiti Disegno Visibilità della Qualità Sviluppo Processi interni Test Collaudo Erogazione Manutenzione Utente finale Esposizione verso l’esterno Controllo dei livelli di servizio Misura Customer Satisfaction Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 27 Borsa Nazionale del Lavoro elementi di metodologia Oltre alla definizione di metriche, massima attenzione nel capitolato al processo di assicurazione della qualità, al test e collaudo e ai relativi elementi di metodologia Indicati i “Requisiti del processo di valutazione e test” ... per “l’attività di test funzionale” : Va assicurato che i casi e le procedure di test siano completi e accurati. Al collaudo presenziano i rappresentanti dell’Amministrazione con la facoltà di partecipare attivamente all’esecuzione delle prove pianificate e, eventualmente, di eseguirne altre non pianificate. I risultati di queste attività vanno registrati e vanno aggiornati i casi di test e le procedure, se necessario. Vanno registrati e analizzati i risultati del test e le anomalie eventualmente riscontrate. ... per “l’attività di Assicurazione della Qualità” : Vanno effettuate, in modo continuativo, verifiche sulle attività di sviluppo software e sui prodotti risultanti da queste, al fine di: 1. assicurare che ogni attività sia stata eseguita in conformità con il contratto e con le procedure previste nel Piano della qualità 2. assicurare che ogni prodotto software sia stato sottoposto a verifiche, test e azioni correttive necessarie I piani e gli script di test realizzati sono considerati parte integrante del software fornito e devono essere rilasciati all’Amministrazione per futuri collaudi di non regressione. Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 28 Borsa Nazionale del Lavoro la dinamica della fornitura I requisiti per lo sviluppo di un sistema così complesso sono fortemente legati alle normative e alle loro evoluzioni, esse condizionano le pianificazioni iniziali, soprattutto in progetti di medio lungo termine I tempi di rilascio sono condizionati a loro volta da fattori esterni, molto importanti visto la materia trattata La conseguenza è stata la necessità di comprimere le fasi di test durante e successive allo sviluppo. Come evitare di compromettere il livello Qualitativo ed aumentare i rischi ? Assicurazione della Qualità Requisiti Requisiti Disegno Test Test DisegnoSviluppo Sviluppo Parma - 28 novembre 2005 Collaudo Erogazione Manutenzione Utente finale Giovanni Pistarini – Compuware Spa 29 Borsa Nazionale del Lavoro il precollaudo L’amministrazione ha ritenuto necessario e richiesto una fase ulteriore di precollaudo (2-3 mesi – primavera 2005) Adozione di standard comune per lo sviluppo dei casi di test Rapidi da produrre, estendere (casistiche e dati) e automatizzare Comprensibili e (ri)utilizzabili da persone diverse Mappati sui requisiti funzionali del progetto e sulle priorità (rischio) Adozione di standard comune per la registrazione e comunicazione delle anomalie, l’esecuzione e rendicontazione dei test, utilizzo delle tecnologie a supporto (Compuware) Creazione di un team allargato per la creazione ed esecuzione dei test (oltre 400 script di test con diverse condizioni di input/output) Rilevate e corrette le anomalie riscontrate Fornite informazioni complete sullo stato dei test (risultati) e la loro copertura alla commissione di collaudo Assicurazione della Qualità Requisiti Requisiti Disegno Test Test DisegnoSviluppo Sviluppo Precollaudo Parma - 28 novembre 2005 C. Erogazione Manutenzione Utente finale Giovanni Pistarini – Compuware Spa 30 5 click Borsa Nazionale del Lavoro (www.borsalavoro.it) CONCLUSIONI Dal capitolato al piano di Qualità, il processo di assicurazione qualità e i controlli di qualità devono essere chiari nelle specifiche e modalità L’Amministrazione deve essere parte attiva, eventualmente con il supporto di suoi consulenti, nelle attività di assicurazione e controllo della qualità. Il collaudo non deve mai sostituirsi ai test e si deve articolare sui diversi piani (funzionale/integrazione, prestazionale e di qualità) Dominare il processo per governare il contratto Tutti questi aspetti trovano riscontro nelle linee guide CNIPA oggi a disposizione di tutti “I Piani e gli Script di test realizzati sono considerati parte integrante del software fornito devono essere rilasciati all’amministrazione per successivi utilizzi.” Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 33 6 click Borsa Nazionale del Lavoro (www.borsalavoro.it) PASSO SUCCESSIVO Concludere i collaudi prestazionali e determinare condizioni e livelli di servizio ‘erogabili’ Implementare un sistema di controllo dei livelli di servizio lato utente, in grado di superare la complessità dell’infrastruttura che eroga il servizio fornire una visione assoluta della prospettiva dell’utente finale.. Ad un costo limitato, massima rappresentazione del servizio con poche misure Tecnologie già acquisite (Compuware) Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 34 Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 35 Qualità prima e dopo il collaudo Un'esperienza concreta sull'applicazione delle linee guida (SIL - Sistema Informativo Lavoro) Giovanni Pistarini WWW.COMPUWARE.IT [email protected] Convegno Confindustria - CNIPA La qualità negli acquisti di beni e servizi ICT Parma, 28 novembre 2005 Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa 36