Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO
Monitoring All Grid Object
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
1/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
2/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
3/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI - Studio e competenze
Ogni ricercatore del CRIAI è
impegnato nello studio delle
tecnologie ICT presenti nel
mondo della ricerca e
dell’industria,
da quelle in fase di sviluppo a
quelle in via di sperimentazione.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
4/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI – Analisi delle problematiche
L’analisi delle problematiche su cui opera il CRIAI
porta ad
elaborare modelli
e
progettare soluzioni innovative
 efficaci ed efficienti,
 aderenti agli standard presenti,
 integrabili agevolmente nelle infrastrutture
tecnologiche
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
5/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI - Introduzione
Il valore aggiunto offerto dal CRIAI
nell’ambito della ricerca industriale
è la capacità di
progettare soluzioni architetturali
basate sull’innovazione tecnologica
derivante dalla ricerca di base
che siano di prospettiva per i processi di
industrializzazione
Ricerca di base
Università
Portici - 12 dicembre 2007
CRIAI
Anna Jannace
[email protected]
Processi di
Industrializzazione
Industrie
6/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI – CRESCO
Il CRIAI partecipa al
PON 2000-2006
“Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”
Misura II.2
“Società dell’Informazione per il Sistema Scientifico Meridionale”
dell’ENEA
nel progetto CRESCO
(Centro computazionale di RicErca sui Sistemi COmplessi)
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
7/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRESCO – ENEA
Il Progetto ha come obiettivo la realizzazione, presso il Centro Ricerche
ENEA di Portici (NA), di un importante Polo di calcolo multidisciplinare
per lo studio dei sistemi complessi di natura biologica e tecnologica,
collegato con facilities di elaborazione, archiviazione e visualizzazione
3D di dati ubicate presso i Centri ENEA di Brindisi e Trisaia (MT).
Sul piano delle applicazioni e dei contenuti scientifici, il Progetto si focalizza
sulle seguenti linee d'attività:
SP I - Implementazione di soluzioni innovative in tema di architetture di
sistemi di calcolo e di GRID computing per le attività R&S di punta
dell’ENEA che richiedano l’utilizzo di risorse computazionali
estremamente importanti. Sul versante infrastrutturale il Progetto
prevede la realizzazione di una piattaforma di calcolo di assoluta
eccellenza in grado di erogare una potenza dell’ordine del Teraflop,
corredata di una nuova classe di funzionalità GRID innovative;
SP II - Studio di oggetti biologici dal punto di vista sistemico (in silico cell)
e lo studio di sistemi naturali (comunità animali e sociali) secondo il
paradigma dei sistemi complessi;
SP III - Studio di sistemi tecnologici complessi e delle loro mutue
interazioni, e la realizzazione di opportuni strumenti per il modelling, la
simulazione e il controllo.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
8/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI – ENEA
Il CRIAI è partner di ENEA nelle attività del
SPI e del SPIII
Nell’ambito del SPI per l’implementazione di
soluzioni innovative in tema di
architetture di sistemi di calcolo e di GRID
computing, il CRIAI ha effettuato uno
studio dei sistemi di monitoraggio per la
realizzazione del sistema informativo
delle risorse, secondo lo standard del
GLUE Schema (http://glueschema.forge.cnaf.infn.it/)
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
9/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
10/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI – Ganglia
Dopo un’accurata fase di scouting è
stato scelto il sistema di
monitoraggio GANGLIA
Il CRIAI ha messo a disposizione la
propria rete come testbed del
sistema di monitoraggio, costruito
in modo da emulare le
caratteristiche dell’infrastruttura dei
nodi di calcolo ENEA nella quale il
sistema andrà in produzione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
11/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
CRIAI - Ganglia
Il CRIAI sta realizzando la sperimentazione
controllando sia le metriche di default di Ganglia che
misure aggiuntive opportunamente implementate
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
12/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Introduzione
Ganglia è un sistema di
monitoraggio distribuito che
permette di controllare diversi
parametri di un gruppo di nodi di
calcolo, come:
–
–
–
–
–
carico del processore
uso della memoria
I/O
spazio disco
…
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
13/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Definizione
Ganglia è un sistema di
monitoraggio scalabile e
distribuito per sistemi di calcolo
ad alte prestazioni come i cluster
ed i Grid.
È basato su un disegno gerarchico
destinato alle federazioni di
cluster.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
14/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Tipo di comunicazione
Poggia su un protocollo
request/response per
monitorare lo stato tra i cluster
ed usa un albero di connessioni
punto-punto attraverso i nodi
rappresentativi dei clusters
basato sul multicast per
aggregare i loro stati.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
15/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Tecnologie usate
Fa leva su tecnologie consolidate e
diffuse quali :
 XML per il trasporto dei dati
 XDR per la portabilità dei dati
 RRDtool per il salvataggio dei dati
e visualizzazione grafica
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
16/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Vantaggi e potenzialità
Usa strutture di dati ed algoritmi che realizzano
un overhead molto basso su ciascun nodo e
favoriscono l’alta concorrenza dell’insieme dei
nodi.
L'implementazione è robusta, portata ad un vasto
insieme di sistemi operativi e di architetture di
processori, ed è attualmente in uso su
moltissimi cluster nel mondo.
È stato usato per collegare cluster attraverso
campus universitari ed intorno al mondo e può
essere configurato per controllare cluster con
una grande quantità di nodi.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
17/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Possibilità di utilizzo
È un sistema apprezzato in ambienti
linux / unix per gestire siti eterogenei
e complessi.
Può essere integrato in architetture
GRID,
come strumento di monitoraggio
delle risorse distribuite
(performance evaluation) o
come strumento di supporto al
bilanciamento di carico (capacity
planning)
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
18/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - Architettura
Il sistema Ganglia è costituito da:
 un processo Ganglia Meta Daemon (gmetad) ad
ogni nodo nell’albero di connessioni
 un processo multi-thread (gmond) attivo su
ciascun nodo del cluster che si vuole monitorare
 un web frontend basato sul PHP
 tool aggiuntivi
Il sistema memorizza i dati in un database
RRD (Round Robin Database) ed
attraverso rrdtool visualizza i grafici
richiesti dall’utente attraverso la web
application.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
19/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - gmetad
Il demone gmetad attivo sui nodi di
ramificazione:
 ottiene una collezione di dati ad
intervalli predefiniti, dalle sorgenti dei suoi
rami discendenti,
 analizza l’XML collezionato,
 salva tutte le metriche numeriche volatili
nel database round-robin ed
 esporta gli XML aggregati sulle socket
TCP verso i client.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
20/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Ganglia - gmond
gmond esplica quattro funzionalità:




monitorare i cambiamenti di stato negli
host,
annunciare i cambiamenti rilevanti,
ascoltare lo stato di tutti gli altri nodi
ganglia attraverso un canale unicast o
multicast
e rispondere alla richiesta con una
descrizione XML dello stato del cluster.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
21/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
22/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO
Si sta realizzando un sistema di
monitoraggio dell’infrastruttura ENEA
che si basa su Ganglia,
ma è adattato alle specifiche esigenze e
sfrutta tutte le potenzialità già presenti in
ENEA-Grid,
pur ponendosi in maniera trasversale
rispetto ad esse
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
23/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – Monitoring All Grid Object
MAGO che sta per
“Monitoring All GRID Object”
in sintesi gestisce
 il monitoraggio delle risorse
di ENEA-Grid
ed il caricamento del
Database delle Risorse
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
24/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – Funzionalità
Il sistema “MAGO: Monitoring All GRID
Objects” indica il complesso delle varie
funzionalità:
 La memorizzazione di tutti i dati
riguardanti le risorse disponibili nella
rete di calcolo ENEA-Grid
 Il monitoraggio di tutte le risorse della
rete di calcolo ENEA-Grid
 La comunicazione tra il database
suddetto ed il sistema di ENEA-GRID
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
25/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – Componenti
Il sistema MAGO è costituito da
vari componenti
Web Application MAGO
SignOn
MSetup
MMonitor
Menquiry
Monitoring Complex
magoupdate.sh
MSiteLoader
MSiteProvider
MMasterLoader
metric
mago.sql
MAGO System
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
26/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – Componenti
Il sistema MAGO quindi si divide in:
•MAGO – WEB
•MAGO – CORE
•MAGO – DB
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
27/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
28/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB
 La parte WEB si compone di un
Application Server e di una Web
Application


Un application server è un sistema software che fornisce l'infrastruttura e le
funzionalità di supporto, sviluppo ed esecuzione di applicazioni e componenti
server side in un contesto distribuito. Si tratta di un complesso di servizi
orientati alla realizzazione di applicazioni per il web, multilivello ed enterprise,
con alto grado di complessità.
Una applicazione Web è una applicazione per Internet, a cui gli utenti
accedono tramite un Web browser. Dal punto di vista del browser,l'interazione
con una applicazione web è indistinguibile dall'accesso a un sito Web statico. Le
pagine visualizzate dal browser, in questo caso, sono però generate
dinamicamente dall'applicazione. La web application di MAGO è costruita
secondo il pattern Model View Controller (MVC)
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
29/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – Application Server
L’istanza tecnologica scelta per
l’Application Server è JBoss
 JBoss è un application server open source. E’ conforme
a tutte le specifiche J2EE imposte dalla Sun
Microsystems e può essere installato su tutte le
piattaforme (compreso i mainframe AS400 e OS390)
 Si tratta di un motore applicativo in grado di contenere
e gestire applicazioni Web ed Enterprise scritte in Java
secondo le specifiche J2EE.
 L’utilizzo di questa tecnologia porta con sé il vantaggio
di essere basato su standard e di supportare le ultime
novità tecnologiche nell’ambito dello sviluppo java quali
il motore di persistenza Hibernate e le specifiche
Enterprise Java Bean (EJB ) 3.0.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
30/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – JBoss
L’installazione della distribuzione di JBoss per una architettura hardware (es.
INTEL) crea una directory jboss-*(es. 4.0.4) che contiene gli script di start del
server, JARs, i set di configurazione del server e le working directories
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
31/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – Integrazione JBoss e AFS Enea
 Installazione del server JBoss su un PC dotato di sistema
operativo Scientific Linux 4 e di un client AFS
 Configurazione di JBoss in modo da estendere la
pubblicazione delle sue applicazioni anche al sistema EneaGrid
 L’infrastruttura ENEA–Grid in questo modo è dotata di 2 tipi di
server:
• il web server Apache all’indirizzo www.afs.enea.it
• l’application server JBoss ad un altro indirizzo IP (da definirsi)
 In questo modo, richiamando da un browser, l’indirizzo:
http://indirizzo_IP_server_JBoss/Nome_Applicazione sarà
possibile visualizzare qualunque applicazione web che si
trova nella directory /afs/enea.it/…./public_html
 Si sottolinea che il web server Apache continua a funzionare
secondo le attuali modalità di utilizzo, pubblicando le pagine
HTML contenute in /afs/enea.it/…./public_html
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
32/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – Integrazione JBoss e AFS Enea
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
33/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – User Interface
La Web Application di MAGO fornisce
una interfaccia utente che
garantisce le seguenti funzionalità:
 l’accesso al sistema mediante le credenziali
dell’utente in ENEA-Grid (klog)
 l’utilizzo delle potenzialità fornite dai sistemi
AFS ed LSF già presenti nell’infrastruttura
ENEA-Grid
 l’aggiunta di ulteriori servizi e funzionalità
tuttora non presenti in ENEA-Grid
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
34/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – User Interface: Login
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
35/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – User Interface: Home
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
36/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – User Interface – Componenti
Attraverso un browser si possono utilizzare i
seguenti componenti di MAGO:
 MSetup che consente la configurazione del
sistema di monitoraggio
 MMonitor che consente la visualizzazione
del monitoraggio globale con un opportuno
sistema di allarmi
 MEnquiry che consente la ricerca mirata nel
DB di specifici dati monitorati richiesti
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
37/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – User Interface – MSetup
Il sistema MAGO è stato progettato in
maniera da monitorare un insieme
globale di risorse eterogenee e
distribuite, configurabili mediante il
componente MSetup.
Si sottolinea che l’insieme dei nodi di calcolo
ENEA-Grid, attualmente gestiti mediante
LSF, è una parte delle risorse considerate.
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
38/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – WEB – User Interface – MSetup
Il componente MSetup:
 Definisce ciascun SITO ENEA
 Assegna a ciascun sito un insieme di HOST
suddividendoli per gruppi multicast
 Definisce ogni METRICA che si intende
misurare
 Definisce i RUOLI in base a gruppi di
metriche e li assegna a gruppi di nodi, per
facilitare la gestione di un numero elevato
di risorse
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
39/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
40/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Architettura
Il CORE del sistema MAGO è basato su
un’architettura distribuita su tre livelli
distinti
Livello Server Centrale
Livello Server di Sito
Livello Nodo
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
41/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Portici - 12 dicembre 2007
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Architettura
Anna Jannace
[email protected]
42/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Server Centrale
A livello di Server centrale si divide nei
seguenti elementi:
Server di monitoraggio di Ganglia
Database delle Risorse
Componente di caricamento del
database: MMasterLoader
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
43/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Server di Sito
Ogni Server di sito ha i seguenti componenti:
Server di monitoraggio di Ganglia
(gmetad)
Client-core di monitoraggio di Ganglia
(gmond)
Componente di caricamento del
database locale di sito:MSiteLoader
Componente di fornitura dei dati verso il
Server centrale:MSiteProvider
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
44/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Nodo
Ogni Nodo della rete ENEA-Grid ha i seguenti
componenti:
 Client di monitoraggio (gmond) sempre attivo
come servizio ed esso fornisce le informazioni
standard di Ganglia
 Metriche addizionali che vengono raccolte
tramite l'esecuzione di script e fanno uso di
gmetric per passare l'informazione a gmond
 Ambiente locale MAGO
 Script-sonda generalizzato per tutti i nodi
magoupdate.sh
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
45/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Gestione centralizzata
La gestione dei nodi è progettata
in modo da essere il più
centralizzata possibile,
avvalendosi attualmente del file
system distribuito AFS di ENEA,
ma estensibile ad altri diversi
canali di comunicazione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
46/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Gestione centralizzata
 Il componente script-sonda magoupdate è installato
una sola volta su un server (in AFS e/o altro tipo)
 Viene eseguito ad una cadenza temporale prestabilita
in maniera automatizzata sulla lista di tutti nodi
configurati da MSetup
La conseguenza diretta di tale
meccanismo è che il componente
si auto-installa e
si auto-aggiorna
su tutti i nodi
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
47/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Gestione centralizzata del Nodo
il componente magoupdate.sh posizionato in
/afs/enea.it/project/cresco/LA1/cresco_sp12_criai/soft/mago
esplica le seguenti funzionalità:
 Verifica l'accessibilità ad AFS (se non è accessibile
termina o provvede a ricevere le informazioni da canali
alternativi)
 Copia la versione aggiornata di magoupdate.sh (oppure
se non ancora presente installa lo script) sul nodo
 Copia da AFS sul nodo
a) La lista delle metriche da misurare per il nodo stesso
b) La tabella dei tempi di rilevazione delle misure per le metriche al punto a)
c) Tutti gli script definiti nella lista al punto a) che effettuano le misure in locale
sul nodo
 Aggiorna il crontab locale dell' utente “mago”
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
48/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – CORE – Gestione centralizzata del Nodo
Il componente in esecuzione sul singolo nodo per effetto diretto delle
operazioni di copia delle metriche e di aggiornamento del crontab
locale, genera le seguenti conseguenze:
 Esecuzione dei rispettivi script secondo la
tempistica stabilita dal crontab (cioè misura dei
parametri sul nodo)
 Accodamento del risultato ottenuto da ciascuno
script a gmond (Ganglia) mediante gmetric
 Invio automatico, grazie all’esecuzione di
gmond, del file XML di Ganglia sulla porta 8649
(default) contenente anche i valori delle
metriche aggiunte ed eseguite
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
49/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
50/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – DB
Database generale delle risorse di
ENEA-Grid implementato con
MySQL, e presente fisicamente sul
server centrale dedicato
Tale database contiene sia le tabelle statiche di
configurazione che vengono caricate da
MSetup ed utilizzate dagli altri componenti del
sistema, sia le tabelle dinamiche contenenti i
dati aggiornati dell’intera infrastruttura di
monitoraggio
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
51/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Portici - 12 dicembre 2007
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
MAGO – DB – Visione globale
Anna Jannace
[email protected]
52/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Agenda
•Agenda
•Ruolo del CRIAI in ENEA-CRESCO
•Ganglia
•MAGO
•MAGO-WEB
•MAGO-CORE
•MAGO-DB
•Conclusione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
53/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Conclusione
Il sistema descritto è
attualmente in fase di
implementazione da
parte del CRIAI
nell’ambito delle attività
SPI.2 del progetto PON
CRESCO di Enea
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
54/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Conclusione
Le attività realizzate finora sono:
 Studio di scouting sui sistemi di monitoraggio e scelta
di Ganglia (100%)(rif. OR1)
 Sperimentazione ed installazione di Ganglia sul testbed
CRIAI(100%)(rif. OR2)
 Installazione demone gmond su campione di differenti
piattaforme disponibili in ENEA-Portici (60%)(rif. OR2)
 Progettazione e stesura relativa documentazione del
sistema MAGO (80%)(rif. OR2)
 Implementazione MAGO-WEB (50%)(rif. OR3)
 Implementazione MAGO-CORE (50%)(rif. OR3)
 Implementazione MAGO-DB (100%)(rif. OR1)
 Installazione sistema in ambiente di produzione
(0%)(rif. OR3)
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
55/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Conclusione
Le soluzioni applicative descritte
verranno predisposte per il
sistema MAGO ma potranno
essere riutilizzate ed estese
nell’infrastruttura ENEA-Grid
per ogni ulteriore realizzazione
che si vorrà effettuare
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
56/57
Consorzio Campano di Ricerca per l’Informatica e
l’Automazione Industriale – S.c.a.r.l.
Ente per le Nuove tecnologie, l'Energia e l'Ambiente
Conclusione
Domande?
Grazie per la
cortese
attenzione
Portici - 12 dicembre 2007
Anna Jannace
[email protected]
57/57