Introduzione alle griglie computazionali
Università degli Studi di Napoli Federico II
Corso di Laurea in Informatica – III Anno
LEZIONE N. 12
•
•
•
•
Grid Monitoring
modello GMA
GridICE
GridICE demo
Introduzione alle griglie computazionali - a.a. 2005-06
1
Grid Monitoring (1/5)
definizione
•
misurazione di parametri significativi relativi alle risorse
presenti in Grid
•
attivita’ strategica per il calcolo distribuito
-
performance analisys
resources/services fault detection
problems spotting
statistics and capacity planning
auditing system
Introduzione alle griglie computazionali - a.a. 2005-06
2
Grid Monitoring (2/5)
metodologie di resource monitoring
•
push
observer
•
resource
pull
1
observer
resource
2
Introduzione alle griglie computazionali - a.a. 2005-06
3
Grid Monitoring (3/5)
problemi da gestire
•
scalabilita’
il servizio di monitoring deve garantire la stessa qualita’ del servizio
indipendentemente dal numero di risorse monitorate
•
bassa intrusivita’
le attivita’ di monitoring non devono compromettere le prestazioni offerte
tramite i servizi
•
formato degli eventi di monitoring
tradeoff tra semplicita’ di utilizzo e compattezza (es. documento XML)
•
security
(segue)
Introduzione alle griglie computazionali - a.a. 2005-06
4
Grid Monitoring (4/5)
problemi da gestire
•
architettura distribuita
evitare il “single point of failure” e favorire delle architetture a componenti
modulari
caratterizzazione degli eventi di monitoring
•
•
short lifetime of utility
aggiornamenti frequenti
Introduzione alle griglie computazionali - a.a. 2005-06
5
Grid Monitoring (5/5)
Computing Element
Worker Node
Worker Node
Worker Node
Worker Node
Storage Element
Resource Broker
Replica Catalog
Information Index
[…]
LOW LEVEL measurements
– CPU load
– memory usage
– disk usage (per partition)
– network activity
– number of processes
– number of users (UI)
– …
SERVICE checks
– gatekeeper
– gsiftp
– gris
– gdmp
– RB/LB
– …
Replica Manager
“GRID” measurements
– number of total CPUs
– number of free CPUs
– number of running jobs
– number of waiting jobs
– SE free disk space
– …
Introduzione alle griglie computazionali - a.a. 2005-06
6
Grid Monitoring Architecture
Consumer
4) Query
or
Subscribe
3) Event producer & Event schema
information
2) Lookup
5) Event
data
Producer
Directory
Service
1) Event publication
information
Introduzione alle griglie computazionali - a.a. 2005-06
7
GridICE (1/3)
•
scopo di GridICE e’ l’implementazione di un servizio di Grid
monitoring “VO-centric”
•
prodotto integrato in LCG (CERN)
•
iniziativa nata nell’ambito del progetto europeo DataTAG
•
attualmente e’ un’attivita’ di development EGEE-SA1 / Grid.it
Introduzione alle griglie computazionali - a.a. 2005-06
8
GridICE (2/3)
descrizione
•
data push
per l’aggregazione dei dati di monitoring relativi ad un cluster
•
data pull
per la raccolta dati nel GridICE database
Introduzione alle griglie computazionali - a.a. 2005-06
9
web interface
ldap query
GIIS (GLUE schema)
discovery service
information index
monitoring service
ldap query
monitoring server
Monitoring
DB
WP4 fmonserver
GRIS (GLUE schema)
run
write
ldif output
information providers
read
farm monitoring
archive
computing element
WP4 monitoring agent
run
metric output
WP4 sensor
read
GridICE Architecture
metric output
/proc
filesystem
worker node
Introduzione alle griglie computazionali - a.a. 2005-06
WP4 monitoring agent
run
metric output
WP4 sensor
read
metric output
/proc
filesystem
worker node
10
GridICE Server
TOPLEVEL
GIIS
REGION
GIIS
REGION
GIIS
site INFN-CNAF
site CERN
LEMON Client
GRIS
SITE GIIS
LEMON Client
computing element
access node
SITE GIIS
broker
LEMON Client
GRIS
LEMON Server
LEMON Client
...
LEMON Client
worker nodes
GRIS
LEMON Server
GRIS
2136
storage element
access node
replica location
service
LEMON
Client
GRIS
2136
storage element
access node
GridICE Deployment
Introduzione alle griglie computazionali - a.a. 2005-06
11
GridICE (3/3)
sviluppi futuri
Monitoring Tool
Grid Information Service
Grid Monitoring Service
Introduzione alle griglie computazionali - a.a. 2005-06
12
Riferimenti
“Grid Monitoring Architecture”
 http://www-didc.lbl.gov/GGF-PERF/GMA-WG/
“GridICE”
 http://grid.infn.it/gridice
Introduzione alle griglie computazionali - a.a. 2005-06
13