Ampliamento dell’infrastruttura del CNAF/T1
Referee meeting 28/8/2008
infrastruttura
• 1) Stato progetto di ampliamento:
– pianificazione, progetto esecutivo
• 2) Stato progetto migrazione:
– Fase gialla
– Fase blu
• 3) Piano per risorse 2008
• 4) stato autorizzazioni/comunicazioni
• Progetto di ampliamento
– Consegnato il progetto definitivo il 6/07/07
– Il progetto definitivo contiene:
• Relazione tecnica
• Relazione tecnica per le diverse tipologie di interventi previsti:
–
–
–
–
–
impianto meccanico
impianto elettrico
opere edili
opere strutturali
opere di insonorizzazione
• Computo metrico estimativo, disciplinare descrittivo e
prestazionale, una serie di elaborati grafici per i vari impianti
previsti
tempi
• Il progetto definitivo e’ stato consegnato il 6/7/2007 con
circa 4 mesi di ritardo rispetto alle date previste dal
contratto (1/3/2007)
• L’ufficio tecnico del responsabile del procedimento ha
validato immediatamente il progetto definitivo, in termini
di tipo e contenuto degli elaborati tecnici che
corrispondono a quanto previsto dalla legge vigente per gli
appalti pubblici.
• Sono stati consegnati alla ditta di progettazione STEAM
s.r.l di Padova, per ogni tipologia di intervento una serie di
osservazioni e miglioramenti da recepire nella stesura del
progetto esecutivo
• Il progetto esecutivo, da contratto e’ in 15 giorni dalla data
di validazione del definitivo
tempi
• Durante il mese di agosto sono proseguite
attivita’ di sopralluogo e di rilievi per
eseguire gli schemi ed i progetti di dettaglio
necessari ad appaltare le opere
• Il progetto esecutivo non sara’ comunque
disponibile per il l’inizio di settembre 07
• Obiettivo: ricevere e validare il progetto
esecutivo in tempo per richiedere l’appalto
dei lavori al direttivo di ottobre 2007
tempi
• Inizio ottobre 07 progetto esecutivo
• Fine ottobre 07: approvazione consiglio direttivo indizione gara di
appalto lavori
• Fine novembre 07: pubblicazione bando gazzetta europea e GURI
• Fine gennaio 08: prequalifica aziende
• Fine febbraio 08 : lettera di invito e ricezione offerte economiche
• Direttivo di marzo 08: delibera di assegnazione lavori
• Fine maggio 08: firma del contratto di appalto
• Inizio lavori Luglio 08
• Durata lavori: il crono-programma e’ uno dei documenti previsti nel
progetto esecutivo e quindi ad oggi non e’ disponibile, i lavori sono
‘standard’ cioe’ non sono necessari pezzi unici da realizzare ad hoc,
valutazione personale durata dei lavori 6 mesi.
• E’ importante avere il tempo di valutare e studiare bene il progetto
esecutivo, per ridurre il piu’ possibile la necesssita’ di modifiche in
corso d’opera costose in termici economici e di tempo
costi
• L’importo complessivo dell’intervento ,
inclusi le somme a disposizione
dell’amministrazione, imprevisti, IVA passa
da:
– € 4.286.080,59 - progetto preliminare
– € 6.985.926,00 - progetto definitivo
• Dettaglio degli incrementi:
– Impianto Elettrico:
• € 1.719.420,05 - progetto preliminare
• € 3.094.862,92 - progetto definitivo
Costi
– impianto meccanico/termo-idraulico:
• € 800.491,76 - progetto preliminare
• € 1.429.432,97 - progetto definitivo
– opere edili/strutturali/acustiche:
• € 286.270,54 - progetto preliminare
• € 640.173,53 - progetto definitivo
– motivazioni incrementi di costo:
• manutenibilita’ di tutti gli apparati
• ridondanza di almeno un apparato per ogni tipologia
• separazione tra impianti tecnologici (distribuzione acqua, antincendio
etc) e locali con apparecchiature informatiche
• carico ‘utile/informatico’ installabile 1400KW
– carenze progettuali del definitivo
• impianto di supervisione e controllo
• opere strutturali non chiaramente motivate e valutate genericamente
• dettaglio dei prezzi: alcune voci del CME sono macro voci non
analizzate
• Elaborati grafici elettrici non completi degli schemi dei quadri e della
tabella delle potenze
Decisioni progettuali
• UPS statici o rotanti?
– Abbiamo deciso per UPS rotanti se costo
comparabile con quelli statici
• Sorgenti alternative di acqua refrigerata
– Flangia disponibile per installazione
scambiatore di calore per eventuale sorgente di
tele-raffrescamento
• Trasformatori
– 4 trasformatori in resina da 2000KVA Vcc 8%
– In accordo con ENEL
Migrazione
• Fase gialla, consiste in:
• Impianto termo-idraulico
– Installazione Chiller aggiuntivo
– Realizzazione collegamento con impianto di distribuzione
acqua fredda attuale
– Distribuzione acqua fredda ai condizionatori interni alle
isole ad alta densita’ che verranno installati in sala 1 (dove
verranno spostate le apparecchiature informatiche)
realizzate in modalita’ compatibile con il progetto di
ampliamento
– Predisposizione per terminali di ventilazione/scambio
acqua aria nelle zone rete, GARR, libreria etc che
verranno isolate dal resto dei locali durante i lavori
– Lavori appaltati contratto in corso di svolgimento, punto 1
e 2 completati
Migrazione
• Fase gialla, consiste in:
• Impianto elettrico
– Installazione quadro aggiuntivo nella cabina elettrica
dell’universita’
– Realizzazione collegamento elettrico impianto
distribuzione e di raffreddamento acqua nuovo con relativi
quadri
– Collegamento ‘esterno’ alla sala Tier1 in modo da non
‘disturbare e non essere disturbato dai lavori di
ampliamento
– Predisposizione per collegare esternamente alla sala Tier1
macchine ed impianti che verranno riposizionati in sala 1
– Cablatura del GE al nuovo quadro in cabina
Migrazione
• Migrazione fase blu consiste in:
– Realizzazione distribuzione elettrica agli armadi che
verranno installati nelle isole ad alta densita’ in sala 1 in
modo compatibile con il progetto di ampliamento
– Realizzazione relativi quadri elettrici come da progetto
di ampliamento
– Spostamento UPS
– Scavi per alloggiamento QE
– Collegamento ‘esterno’ alla sala di tali quadri con la
cabina elettrica dell’univerisita’
Gare e procedure
• Fornitura e posa in opera di Quadri elettrici e
Blindo per upgrade Sala 1 del Tier1, incluso
alimentazione isole e predisposizione per nuova
libreria , importo ~ 200Ke
• Lavori per collegamento temporaneo della Sala 1
alla fornitura elettrica universita’ con passaggio
‘esterno’ importo ~ 100KEuro
• Lavori edili in sala 1 (scavi, pavimento flottante,
delimitazione per cantiere futuro, parete in
laterizio per corridoio tecnico, spostamento UPS):
~ 30 K Euro
tempi
• Progetto per fornitura e posa in opera
upgrade sala 1 entro 10 settembre, delibera
consiglio direttivo di settembre, durata
procedura di assegnazione circa 4 mesi,
inizio lavori febbraio 08, durata 1 mese
• Lavori edili assegnabili direttamente,
conclusione entro dicembre 2008
• Lavori elettrici esterni come per fornitura e
posa in opera blindo …., inizio lavori
febbraio 08, durata 15 giorni
• Conclusi i lavori idraulici e quelli edili si possono
realizzare:
– stesura della rete dati, selezione della ditta per la
fornitura gia’ in corso
– installazione delle isole ad alta densita’
– Migrazione macchine in sala 1: marzo 08
– E’ previsto uno spegnimento completo, del centro,
spostamento UPS e riaccenzione delle macchine nella
nuova sala durata del down: 2 giorni
• Nel frattempo le nuove installazioni previste
proseguono nelle sale attuali
Piano 2008
•
Nella sala1 che e’ destinata ad ospitare tutte
le risorse del Tier1, durante la fase dei lavori
di upgrade per portare la potenza complessiva
disponibile fino a 4 MWatt, sono previste 4
isole ad alta densita’ APC con 11 rack
ciascuna ed un’isola con 12 : 56 Racks in
totale piu’ la libreria attuale e la nuova
libreria.
•
Risorse raccomandate per il Tier1 per il 2008
(fino al 1 aprile 2009 secondo le attuali regole
di LHC) :
–
–
–
•
CPU:
Disco:
Tape:
7.5 M SpecInt2K
3 PByte
4.5 PByte
La soluzione per soddisfare completamente
queste raccomandazioni durante tutta la fase
dei lavori di upgrade del centro dati gli spazi
e le potenze elettriche e frigorifere a
disposizione nella sala 1
Piano 2008- Farming
•
•
•
•
•
•
Attualmente il Tier1 dispone di 3 Racks di dual core Blade a 2.0 a GHz che
complessivamente forniscono ~1.5 M SpecInt2K.
La potenza totale di CPU disponibile pari a ~ 3 MSpecInt2K e’ ottenuta da una serie di
racks aggiuntivi (16 racks) che ospitano processori 1U da 2.4 a 3 GHz.
Il singolo core del quad core risulta avere prestazione praticamente simili a quelle di un
single core del dual core a 2.6 GHz., quindi 1 Rack riempito con quad core rende
disponibili ~1 MSpecInt2K..
Si propone di eliminare i 16 racks contenenti processori 1U acquistati da due o piu’
anni e perdendo cosi’ in totale ~1 MSpecInt2k e risparmia ~90 KWatt di potenza
elettrica.
Si acquistano 5 nuovi Rack di Blades quad core con frequenza di 2.6 GHz o superiore
per arrivare ai 7 MSpecInt2k., questi 5 nuovi Racks consumano ~90KWatt..
Sono da conservare e spostare in Sala1
–
–
–
•
•
3 Racks con i Blade HP
6 Racks di Opteron
1 Rack di Server.
Quindi tutta la farm cosi’ costituita ed i server occupano nel 2008 un totale di 15 Racks
per dare 7MSpecInt2K, senza aumentare sostanzialmente il consumo di potenza
elettrica attuale che ora e’ 140KW.
Il consumo previsto per questa configurazione in totale e’ 174 KW.
Piano 2008- storage
• Attualmente e’ disponibile 1 PB di disco
che occupa i seguenti Racks:
–
–
–
–
5 Racks IBM (300 TB, 14 KWatt)
5 Racks Storage Tek (250TB, 17 KWatt),
10 Racks EMC2 (400 TB +DB, 24 KWatt),
9 Racks con servers, diskserver e infortrend
(33 KWatt )
• totale 90 KW.
– Sono in acquisto 200TBytes aggiuntivi
alloggiati in 3 Racks.
Piano 2008- Storage
• Si possono mantenere:
– 9 Rack EMC2 (inclusi i diskserver) che
forniscono 400TB RAW, e consumano
24KWatt
– 5 racks IBM che forniscono 300TB e
consumano 14KW
– 1 racks di diskserver/server nazionali 6 KW (in
zona 6)
• Totale 44 KW e 15 Racks
– Aggiungere i 200TB di disco in corso di
acquisizione comporta 3 Racks e 12KW
aggiuntivi
Piano 2008
• Con dischi da 1 TB saranno disponibili 146TB Netti/Rack e quindi
acquisire i 2 PB aggiuntivi richiede 14 Racks di disco per 2 PB + altri
7 Racks per 200 Disk server -> 21 racks in totale, con un consumo
totale di 78KW (8 rack di disco consumano 18KW, 14 racks di disco
consumeranno 36KW, 1 rack di disk server 6KW, 7 Rack di disk server
42KW).
• Totale necessario per 3 PB, 15+3+21=39 Racks
• Un’ ulteriore ottimizzazione si puo’ fare sostituendo anche i 5 Rack
dello storage IBM con un paio di nuovi Racks con dischi da 1 TB. In
questo modo, se necessario, si possono risparmiare altri 3 Racks per
nuove esigenze. Un ulteriore spazio che puo’ contenere fino a 7-8
Racks e’ ancora disponibile per nuove esigenze nell’area della sala
riservata alla nuova libreria.
• In questi spazi si possono quindi facilmente ospitare i 2-3 rack di WN
utilizzati correntemente per vari test
• Le risorse di INFN-GRID ed i testbed rimangono ospitati i nella zona
dedicata alla rete in sala 2 che non sara’ toccata durante i lavori.
Piano 2008: Riassunto disponibilita’ e
consumi
• Totale disponibile in Sala 1
• Farm + servizi: 174KW, 15 Rack, 7 MSpecInt2K
• Disks, diskserver e Libreria attuale: 136 KW su 39 Racks;
3PB disco e 1 PB Tape
• Nuova Libreria : <20 KWatt; ulteriori 3.5 PB Tape
• Switch di Rete, Racks test e Grid in sala2: 60-70 KWatt
• Totale 54 Racks e 2 Librerie in Sala1 + materiale in Sala2
con un consumo globale di ~400 KW, compatibile con la
potenza attuale consumata globalmente dalle
apparecchiature sotto UPS pari a 405 KWatt
Conclusioni
– La soluzioni proposta prevede
• la potenza consumata in sala dalle apparecchiature rimanga
costante rispetto a quella consuma attualmente e pari a ~450
KWatt
• Il nuovo gruppo frigo in corso di accensione fornira’ capacita’
frigorifera di 320 KWatt con un fattore di rendimento (COP) di
circa 2,2, cioe’ con un consumo di 145KW, da verificare sul
campo
• Il gruppo frigo attuale ha invece un rendimento pari a meno di
1 nei mesi estivi ed 1,5 nei mesi invernali
• Utilizzando al massimo il nuovi gruppo frigo , si potrebbero
avere disponibili altri 150 KW dovuti ad un migliore
rendimento del nuovo apparato, utilizzabili per nuovi
dispositivi o per margine nei consumi se maggiori di quelli
previsti
• Si puo’ partire da subito con le nuove acquisizioni per poi
spostarle in sala 1 secondo questo piano quando disponibile