GRID.it
servizi di infrastruttura
Enrico Ferro
INFN-LNL
E. Ferro / CNAF / 14 febbraio 2003
1/13
Agenda


Esperienza Datagrid. Per WP4:
LCFGng: sistema di gestione e installazione
In generale:
Repository CVS
Sito web
Bug tracking
Supporto utenti
E. Ferro / CNAF / 14 febbraio 2003
1/13
LCFGng: cos'e'



Sistema per l'installazione e la gestione di farm adottato da Datagrid e'
basato su LCFGng, un tool sviluppato allUniversità di Edinburgo
In corso la transione dalla precedente versione LCFG)
Caratteristiche:
architettura client-server
installazione automatizzata (floppy/PXE)
modulare: su ogni nodo agisce un insieme di agenti (componenti),
ognuno dei quali attua la configurazione di un servizio
uno dei componenti effettua l'aggiunta/ upgrade/ downgrade/
rimozione dei pacchetti software su quel nodo(RPM-based)
E. Ferro / CNAF / 14 febbraio 2003
1/13
Server LCFGng




Un server mantiene le configurazioni dei clients:
descritte mediante coppie nome-valore in files detti sorgenti
tali files sono compilati ottenendo i profili (files XML)
Ogni client e' descritto da 1 profilo (<nomehost>.xml)
I profili sono letti dai clients via HTTP
Normalmente oltre ad HTTP sul server sono attivi i servizi (ma
potrebbero essere attivi su altre macchine):
DHCP (installazione)
TFTP (se si utilizza il boot PXE)
NFS (distribuzione packages RPM + prima installazione)
E. Ferro / CNAF / 14 febbraio 2003
1/13
LCFGng: come funziona (2)


Una volta cambiati i sorgenti, lanciando un opportuno comando dal
server le modifiche sono propagate ai clients:
sono ricompilati i profili XML
viene inviata una notifica ai demoni in esecuzione sui clients (UDP)
ogni demone preleva (se necessario) il profilo via HTTP e lo salva in
una cache locale (DBM)
il demone attiva solo i componenti la cui configurazione e' mutata
i componenti aggiornano la configurazione del nodo
Uno dei componenti (updaterpms) e' responsabile dell'installazione del
software e ha un comportamento leggermente diverso:
e' eseguito solo al boot della macchina oppure via cron
sincronizza la lista di pacchetti indicata nel profilo del client con i
pacchetti installati. NB: pacchetti installati manualmente non presenti
nella lista sono rimossi!
ovviamente RPM based
E. Ferro / CNAF / 14 febbraio 2003
1/13
LCFGng in 1 slide
Source files
HTTP server
Compiler
(mkxprof)
XML profiles
<XML>
<XML>
Notification (UDP)
Client
Daemon
(rdxprof)
Download (HTTP)
Local cache
LCFGng Server
E. Ferro / CNAF / 14 febbraio 2003
"Master"
Component
Components
Client nodes
1/13
LCFGng: componenti (1)





Le modifiche alla configurazione dei clients sono eseguite dai
componenti
Un componente e' uno script shell / perl e si occupa di gestire 1 solo
servizio integralmente
Ogni componente accede solo alle propri parametri di configurazione
Edinburgo ha sviluppato i componenti per gestire i servizi standard:
xinet, syslog, nfs, cron, ...
Ne sono stati sviluppati di nuovi per configurare il middleware
Datagrid:
globus, information providers, gdmp, ...
E. Ferro / CNAF / 14 febbraio 2003
1/13
LCFGng: componenti (2)

Funzionamento tipico di un componente:
viene avviato da un componente "manager" allavvio del sistema
oppure a seguito di notifica di un cambiamento di configurazione
carica dalla cache locale la sua configurazione (XML e' utilizzato
solo per il trasferimento)
configura il servizio di cui e' responsabile, tipicamente scrivendo i
files di configurazione e riavviando demoni
E. Ferro / CNAF / 14 febbraio 2003
1/13
LCFGng: creare nuovi componenti


Un amministratore può creare nuovi componenti per configurare e
gestire le applicazioni:
sul server: definisce nei sorgenti le informazioni di configurazione
specifiche del nuovo componente nodo
nel sorgente del nuovo componente:
include alcune funzioni condivise con gli oggetti (lettura della
propria configurazione, log, output, ...)
ridefinisce delle funzioni standard (start, reconfig, ...) secondo le
proprie necessità
Anche i componenti vanno "impacchettati" in RPM per poter essere
installati automaticamente
E. Ferro / CNAF / 14 febbraio 2003
1/13
Datagrid: repository CVS



E' stato allestito un repository CVS per tutto il software sviluppato
Autobuild: una (complessa!) procedura notturna compila
automaticamente il software quando appare una nuova versione (tag) e
provvede a pubblicare i nuovi pacchetti presso il sito web
Via web e' disponibile l'output del processo di compilazione
E. Ferro / CNAF / 14 febbraio 2003
1/13
Datagrid: sito web



Tutto il software e' reso disponibile su un sito web sia in formato binario
(RPM) che sorgente (SRPM)
Documentazione
Sono presenti anche tutti i pacchetti di terze parti (globus, etc...), in
modo da rendere disponibile tutto il software richiesto
E. Ferro / CNAF / 14 febbraio 2003
1/13
Datagrid: bug tracking








Bugzilla (www.bugzilla.org): sistema di bug tracking nato per Mozilla
Attraverso un'interfaccia web l'utente sceglie il modulo del software
coinvolto e descrive il problema riscontrato
Il problema e' riportato direttamente al responsabile via mail
E' possibile effettuare interrogazioni (ad esempio cercare tutti i bug gia'
riportati per quel modulo, sapere quali sono i bug di cui si e'
responsabili, etc...)
Ad ogni bug e' assegnato uno stato (nuovo/assegnato/risolto/etc...)
Gli utenti possono aggiungere commenti ad un bug trovato da altri (es.
come risolverlo)
Il sistema "sollecita" il responsabile a risolverlo
Ad ogni cambiamento apportato al bug report lo "scopritore" e il
responsabile sono informati via mail.
E. Ferro / CNAF / 14 febbraio 2003
1/13
Datagrid/INFNgrid: supporto





Questione problematica, puo' consumare molte risorse
Mailing list
Funziona, risposta veloce ma l'informazione non e'
indicizzata/raccolta
Forum web: gridsupport.na.infn.it
Mantiene una storia delle domande e delle risposte, ma fino ad ora
e' stato poco usato
Test-suite
Un insieme di script per testare un sito prima che "entri" nella grid.
Utilissimo, si individuano i problemi piu' frequenti rapidamente, ma
va mantenuta e aggiornata ad ogni nuova release
Guida all'installazione
La documentazione ufficiale per installare un testbed di Datagrid per
varie ragioni non e' mai stata "di fruizione agevole"
Come INFNgrid e' stata recentemente pubblicata una guida
dettagliata per installare Datagrid 1.4.3; anche in questo caso la
manutenzione non e' banale
E. Ferro / CNAF / 14 febbraio 2003
1/13