Infrastruttura di produzione
INFN-GRID
?
Introduzione
?
Infrastruttura condivisa
?
Multi-VO
?
Modello Organizzativo
?
Conclusioni
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
1
Introduzione
?
?
?
?
Dopo circa tre anni dall’inizio dei progetti GRID, lo stato del middleware si può
considerare ormai tale da permettere la implementazione di un sistema di calcolo
distribuito che integri progressivamente le risorse finora allocate a singoli
esperimenti o progetti.
In particolare la release 1.0 di LCG può permettere di rendere operativa a breve una
infrastruttura di produzione che sia in grado di soddisfare le necessita’ di diverse
comunità di utenti. Ma occorre adottare una visione “sovra-progetto”.
Inoltre nell’ambito dei vari progetti Grid sono state acquisite a vari livelli sufficienti
competenza e esperienza da poter fornire servizi affidabili.
Nel seguito viene presentato un modello organizzativo del sistema integrato che
comprende anche gli aspetti di coordinamento e gestione.
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
2
Infrastruttura condivisa
?
?
?
?
?
Esistono attualmente vari testbed e sistemi di produzione realizzati per le esigenze
di esperimenti e di progetti (EDG, EDT, LCG, Grid.it…). L’obiettivo è quello di
integrare il più possibile le risorse disponibili in un unico sistema da configurare
dinamicamente per soddisfare tutti i tipi di richieste degli utenti nel modo più
efficiente possibile. Tutti i siti dovrebbero alla fine partecipare al sistema.
Le release EDG 2.0 e LCG 1.0 possono costituire l’occasione per iniziare questo
processo, anche al fine di evitare che tutti gli esperimenti e i progetti debbano
autonomamente implementare sistemi di produzione basati su queste release.
Inizialmente l’integrazione può riguardare solo i sistemi di produzione, per
ottimizzare l’uso delle risorse e facilitare l’assorbimento delle esigenze di picco; con
l’evolversi degli strumenti di riconfigurazione e allocazione, il sistema potrebbe in
futuro consentire anche di creare testbed temporanei.
L’accesso alle risorse condivise deve essere regolato con opportune politiche, che ne
garantiscano ad esempio l’uso prioritario o (in determinati periodi) esclusivo, le
limitazioni di accesso o altro.
In parallelo bisogna costituire una organizzazione per il coordinamento e la gestione
della infrastruttura condivisa in cui far confluire il personale che attualmente
assicura il funzionamento dei vari sistemi esistenti.
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
3
Organizzazioni Virtuali (VO)
?
?
?
?
?
Le varie comunità di utenti che intendono accedere all’infrastruttura di produzione si
costituiscono in organizzazioni virtuali (VO). Le VO concordano con il management le
politiche di condivisione e uso delle risorse.
Le VO possono far parte di una o più struttura gerarchiche.
Le VO sono dinamiche, nel senso che la loro composizione può variare nel tempo così
come le interrelazioni con altre VO.
Un utente può appartenere a più VO.
Il concetto di VO deve entrare integralmente nei principali servizi Grid, quali
authorization, scheduling, information service, data management.
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
4
Multi-VO: schema
VO services
VO services
and private
resources
and private
resources
Shared Resources
and Services
VO services
Workshop TB INFN-GRID - 16/6/2003
VO services
Lamberto Luminari
5
Multi-VO: stato
?
?
?
?
?
Esistono già degli strumenti, come il Virtual Organization Membership Service
(VOMS), che possono fornire un prototipo di sistema di organizzazioni virtuali.
Alcuni dei servizi di Grid implementati nell’ambito del progetto EDG sono stati
sviluppati già nella prospettiva delle VO, come il Data Management: ogni VO può
avere i propri Replica Manager e Replica Catalog.
Altri servizi, come lo scheduling, sono stati finora configurati per una topologia
centrale di grid. Questo tipo di configurazione può permettere di gestire situazioni
relativamente semplici, con poche VO di caratteristiche simili, ma per una Multi-VO
complessa vanno investigate soluzioni alternative.
Il sistema informativo per uno sistema multi-VO necessita probabilmente di una
architettura “composta”, come nell’esempio illustrato nel seguito.
Vanno inoltre integrati i servizi di Authorization e Accounting, e va sviluppato uno
schema di Advance Reservation delle risorse che permetta un qualche livello di
programmazione anche in un sistema ad allocazione dinamica.
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
6
Multi-VO: Info System
ROOT II server
RB
RB
VO top level II
server
VO top level II
server
RB
VO wide
area server
Shared resources
II server
RB
VO site level
server
VO site level
server
Example of Information Index server and RB
topology in a private and shared VO environment
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
7
Modello organizzativo: requirement
?
?
?
?
L’infrastruttura di produzione deve includere diversi sistemi di calcolo e soddisfare
le richieste di molte collaborazioni, gruppi e progetti.
Tutte le comunità di utenti devono avere ruolo e rappresentanza adeguati nella
struttura che deve pianificare e gestire il sistema integrato di risorse e servizi.
Il modello organizzativo deve comprendere tutti gli aspetti connessi al
funzionamento di una infrastruttura di produzione, dalle modalità con cui vengono
esercitate le funzioni di indirizzo, agli organismi e gruppi di lavoro che svolgono i
diversi compiti, fino ai tipi e modi di supporto agli utenti.
Nella struttura organizzativa un ruolo fondamentale è riservato ai site team e agli
esperti delle VO e delle applicazioni per estendere i servizi di produzione a tutte le
sedi e a tutti gli utenti. In particolare ai site manager si richiederà un contributo
importante per lo sviluppo e i test dei sistemi di management e support in stretto
rapporto con il Grid Operation Center (GOC).
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
8
Modello organizzativo: schema
Experiments
GRID Projects
Coordination Committee
Management
•Planning
•Deployment
•Policy management
•…
Operations
Central Team
Monitoring
Authorization
Site team
Workshop TB INFN-GRID - 16/6/2003
Service
support
VO support
Lamberto Luminari
User
support
Application
9
Modello organizzativo: indirizzo
Experiments
GRID Projects
Coordination Committee
Management
•Planning
•Deployment
•Policy management
•…
Le funzioni di indirizzo sono assegnate agli
esperimenti e ai progetti che conferiscono
risorse: in particolare essi definiscono le
politiche di condivisione, ...
Operations
Central Team
Monitoring
Authorization
Site team
Workshop TB INFN-GRID - 16/6/2003
Service
support
VO support
User
support
Application
Lamberto Luminari
10
Modello organizzativo: coordinamento
Experiments
GRID Projects
Coordination Committee
Management
•Planning
•Deployment
•Policy management
•…
Il Coordination Committee ha il compito di
implementare le indicazioni e armonizzare le
richieste delle comunità di utenti.
Coordina due gruppi di lavoro: Management
Group e Operation Group.
Operations
Central Team
Monitoring
Authorization
Site team
Workshop TB INFN-GRID - 16/6/2003
Service
support
VO support
User
support
Application
Lamberto Luminari
11
Modello organizzativo: management
Experiments
GRID Projects
Coordination Committee
Management
•Planning
•Deployment
•Policy management
•…
Il Management Group deve definire un sistema di
gestione che includa lo sviluppo e l’evoluzione di:
?strumenti di gestione;
?sistema di autenticazione e autorizzazione;
?strumenti di monitoring;
?deployment planning;
?test suite per la validazione dei servizi di grid;
?meccanismi di gestione delle politiche di uso.
Operations
Central Team
Monitoring
Authorization
Site team
Workshop TB INFN-GRID - 16/6/2003
Service
support
VO support
User
support
Application
Lamberto Luminari
12
Modello organizzativo: operatività
Experiments
GRID Projects
Coordination Committee
Management
•Planning
•Deployment
•Policy management
•…
L’Operation Group deve garantire l’operatività di
tutti i servizi necessari:
?controllo e sicurezza di accesso;
?monitoring e ottimizzazione prestazioni;
?repository delle politiche di uso;
?repository dei toolkit delle applicazioni;
?coordinamento con i site manager;
?supporto utenti a livello di VO e di applicazione.
Operations
Central Team
Monitoring
Authorization
Site team
Workshop TB INFN-GRID - 16/6/2003
Service
support
VO support
User
support
Application
Lamberto Luminari
13
Modello organizzativo: incarichi
?
?
?
?
Gli esperimenti e i progetti trasmettono i loro requirement e politiche di accesso
attraverso i loro rappresentanti nel Coordination Committee e partecipano alla
gestione mediante loro esperti sulle VO e sulle applicazioni relative.
Il Coordination Committee è composto da rappresentanti degli esperimenti e
progetti e dai coordinatori degli organismi principali di INFN-GRID (EB, TB, …).
Nella fase iniziale, in attesa che vengano nominati i rappresentanti, il Comitato di
coordinamento è composto dall’EB allargato.
Il Management Group è coordinato da Luciano Gaido, che presenterà in questa
sessione una proposta operativa sulla sua struttura.
L’Operation Group è coordinato da Cristina Vistoli, che presenterà in questa sessione
una proposta operativa sulla sua struttura.
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
14
Conclusioni
?
?
?
?
E’ possibile rendere operativa una infrastruttura di produzione condivisa che integri
le risorse finora dedicate a questo compito dai vari esperimenti e progetti.
Il concetto di Multi-VO costituisce l’elemento chiave dell’architettura integrata. I
servizi vanno organizzati su questa basa.
In particolare occorre sviluppare un insieme di strumenti volti a facilitare la
riconfigurazione e allocazione dinamica delle risorse, nella prospettiva di estendere
questo approccio fino alla creazione di testbed virtuali e procedere quindi alla
integrazione completa dei sistemi di calcolo.
E’ stato elaborato un modello organizzativo per gestire l’infrastruttura e garantirne
l’operatività.
Workshop TB INFN-GRID - 16/6/2003
Lamberto Luminari
15