www.eu-egee.org
Using SRM: DPM and dCache
G.Donvito,V.Spinoso
INFN Bari
EGEE is a project funded by the European Union under contract IST-2003-508833
Outlook
• Che cos’è un SRM
• Cosa ci serve in un SRM
• Le possibili scelte
• Caratteristiche principali dei vari
sistemi
• … test su dCache
Riunione gruppo Storage INFN, 5/10/2005 - 2
Funzionalità necessarie
• Bilanciamento del carico sulle “porte”
gridftp
• Bilanciamento della scrittura su disco
• Namespace unificato
• Vari livelli di fault tolerance
• Accesso locale (all’interno delle
applicazioni utente) distribuito e
bilanciato
Riunione gruppo Storage INFN, 5/10/2005 - 4
Modalità di funzionamento
DPM
Riunione gruppo Storage INFN, 5/10/2005 - 5
Example: SRM put processing
(1)
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Client
1a. SRM Put
DPM Daemon
DPNS Daemon
1c. Return SRM RequestId
1b. Put into
Request Database
SRM Daemon
DPM Database
Riunione gruppo Storage INFN, 5/10/2005 - 6
Example: SRM put processing
(2)
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
2c. Pick best Data Server
to put data onto
Data Server
Gridftp Daemon
2b. Check permissions
and add to NS
2e.add to replica table
and set status ‘Pending’
Client
DPM Daemon
DPNS Daemon
2a. Get Request
from Database
2d. Add TURL
in Request
Database and
Mark ‘Ready’
SRM Daemon
DPM Database
Riunione gruppo Storage INFN, 5/10/2005 - 7
Example: SRM put processing
(3)
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Client
3a. SRM getRequestStatus
DPM Daemon
DPNS Daemon
3c. Return TURL
3b. Get TURL from Request
SRM Daemon
DPM Database
Riunione gruppo Storage INFN, 5/10/2005 - 8
Example: SRM put processing
(4)
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Client
DPM Daemon
DPNS Daemon
4a. SRM(v1) set ‘Running’
4b. Update status of request
SRM Daemon
DPM Database
Riunione gruppo Storage INFN, 5/10/2005 - 9
Example: SRM put processing
(5)
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
5. put file via Gridftp
Client
DPM Daemon
DPNS Daemon
SRM Daemon
DPM Database
Riunione gruppo Storage INFN, 5/10/2005 - 10
Example: SRM put processing
(6)
Data Server
Gridftp Daemon
Data Server
Gridftp Daemon
6c. Get filesize
Data Server
Gridftp Daemon
6d. Update replica metadata
(size/status/pintime)
Client
DPM Daemon
6a. SRM(v1) set Done
6b. Notify ‘Done’
SRM Daemon
DPNS Daemon
6e. Update status of request
DPM Database
Riunione gruppo Storage INFN, 5/10/2005 - 11
Modalità di funzionamento
dCache
Riunione gruppo Storage INFN, 5/10/2005 - 12
dCache Internals
Riunione gruppo Storage INFN, 5/10/2005 - 13
dCache Internals (2)
Riunione gruppo Storage INFN, 5/10/2005 - 14
Varie possibilità
• DPM:












Sviluppato nel contesto di LCG
Semplice da installare e gestire
Adatto anche a piccole soluzioni
Software leggero e veloce
Molte feature interessanti in programma
Problemi legati principalmente alla gioventù del software
Alcuni controlli sacrificati in favore della velocità
Non disegnato per integrare la gestione di tape library
Scalabilità non provata in produzione
Poche funzionalità di fault tolerance
Non supporta ancora “srmcp”
Problemi nell’acceso ai file da applicazioni di CMS
Riunione gruppo Storage INFN, 5/10/2005 - 15
Varie possibilità (2)
• dCache:
 Non sviluppato nel contesto di LCG
 Non proprio semplice da installare e gestire
 Software scritto in Java
 Adatto a soluzioni molto variabili come spazio e





complessità
Molte feature interessanti implementate e in programma
Molto più stabile e fault tolerant di DPM in produzione
Prevede l’integrazione di una tape library
Scalabilità provata fino a diverse centinaia di Terabyte
Supporto per l’accesso ai file dalle applicazioni
Riunione gruppo Storage INFN, 5/10/2005 - 16
Varie possibilità (3)
• … Castor
• … StoRM
Riunione gruppo Storage INFN, 5/10/2005 - 17
Conclusioni
• DPM:
 Forse troppo giovane per uso in produzione
 Destinato ai siti più piccoli e con meno Man-Power
• dCache:
 Necessita di un po’ di “training” all’inizio
 Funzionalità molto interessanti e in continua evoluzione
 Stabilità abbastanza provata
 Scalabilità fino a Tier2 medio-grandi, forse Tier1
Riunione gruppo Storage INFN, 5/10/2005 - 18