- GRID L'evoluzione della Rete
Soluzioni alternative del prossimo futuro.
Il Grid Computing come proposta di
applicazione di Utility Computing.
12 – apr – 2006
Matteo Mangini
email: [email protected]
Sommario
• Network Integration & Solutions – L’azienda
• La tecnologia GRID
• Il progetto di rete GRID pilota
• Gli applicativi pilota
• Conclusioni
12 – apr – 2006
Network Integrations and
Solutions
12 – apr – 2006
Network Integration & Solutions
12 – apr – 2006
Network Integration & Solutions
NIS è nata nel 1993 da un gruppo di
professionisti dell’IT con esperienza in diversi
campi dell’industria e della ricerca accademica.
Durante gli anni abbiamo prestato particolare
attenzione a formare un team di professionisti
che avessero capacità di unire le proprie
competenze in diversi settori.
E’ grazie a questo alto livello di esperienza raggiunto dal
nostro staff che oggi possiamo offrire ai nostri clienti
organizzati ed autonomi team di lavoro capaci di integrarsi
nelle realtà lavorative dei clienti e caratterizzati da un
bilanciato compromesso fra innovazione e affidabilità e fra
creatività e soluzioni realistiche.
12 – apr – 2006
Network Integration & Solutions
12 – apr – 2006
Network Integration & Solutions
NIS fornisce soluzioni competitive for il design, lo
sviluppo e la fornitura di servizi di rete e applicazioni
per il businness, la pubblica amministrazione e gli
utenti finali nelle seguenti aree:
 Telecomunicazioni
 Industria
 Finance
 Servizi
Come system integrator abbiamo sviluppato specifiche
esperienze nei seguenti settori dell’industria:
 Network Design
 System Integration and Administration
 Installation, Designing and Administration of
Databases
 Programming Technologies
12 – apr – 2006
Network Integration & Solutions
Sempre aggiornati
per mantenere
competitività
12 – apr – 2006
Network Integration & Solutions
NIS è partner di:
12 – apr – 2006
Sommario
• Network Integration & Solutions – L’azienda
• La tecnologia GRID
• Il progetto di rete GRID pilota
• Gli applicativi pilota
• Conclusioni
12 – apr – 2006
La tecnologia GRID
12 – apr – 2006
L’importanza della tecnologia GRID
In un ambiente industriale e scientifico in fase
di profonda evoluzione tecnologica, le aziende
devono reagire per non restare escluse dal
processo di innovazione ma diventare più
competitive sul mercato.
Come?
Utilizzando una tecnologia d’avanguardia che
sfrutti le risorse a disposizione e limiti al tempo
stesso gli investimenti
Grid
Grid
Grid
Grid
Grid
Grid
Grid
12 – apr – 2006
Grid
Grid
L’importanza della tecnologia GRID
Perché?
Per esplorare le particelle fondamentali e le interazioni fra di
esse, i Fisici produrranno presto circa 10 Petabytes di dati
all’anno (circa 20 milioni di CD). Questi dati preserveranno il
risultato di collisioni fra praticelle fondamentali ad alta
energia. Migliaia di fisici in dozzine di università sparse per il
mondo vorranno analizzare questi dati.
Gli studiosi della Terra tengono traccia del livello di ozono
nell’atmosfera attraverso osservazioni da satellite.
Unicamente per questo scopo essi scaricano dallo spazio
verso la Terra circa 100 Gigabytes di immagini al giorno
(l’equivalente di 150 CD).
Scoprire i segreti del genoma umano sarebbe impossibile
senza l’analisi computerizzata di massive quantità di dati,
incluse le sequenze di 3 miliardi di unità chimiche che
compongono il nostro DNA.
12 – apr – 2006
L’importanza della tecnologia GRID
Forti investimenti da parte di:
1. Comunità europea:
•
•
50 milioni di Euro stanziati per 20 progetti grid
nell’ambito del V Programma Quadro
300 milioni di Euro stanziati per il progetto europeo
EGEE nell’ambito del VI Programma Quadro
2. Produttori di tecnologie IT (IBM, HP, Sun
Microsystem, Oracle…):
•
•
attivazione specifici programmi sulle GRID
sviluppo prodotti commerciali GRID compatibili (ex:
Oracle 10g, IBM WebSphere, etc…)
3. Aziende private:
•
12 – apr – 2006
realizzazione di GRID interne all’azienda per
ottimizzare le risorse disponibili e attivare politiche
di co-progettazione
Tecnologia GRID – Le origini
Distributed computing
Al giorno d’oggi, ogni volta che si presenta un
problema dovuto ad una carenza di potenza di
calcolo, la soluzione è unire insieme le risorse sia
che si tratti di un’azienda o di un’istituzione
accademica. La rete di computer è quindi usata
come una singola, unificata risorsa.
Questa soluzione è chiamata “calcolo distribuito",
e questo termine si riferisce ad ogni sistema in cui
molti computer risolvo un problema lavorando
insieme.
Il Grid computing è, in un certo senso, una specie
di calcolo distribuito.
12 – apr – 2006
Tecnologia GRID – Le origini
Metacomputing
Metacomputing è un termine che fu coniato per
un particolare tipo di calcolo distribuito, molto
popolare nei primi anni novanta, che implicava
l’unione di centri di supercomputer attraverso
quelle che erano, ai tempi, reti ad alta velocità.
12 – apr – 2006
Tecnologia GRID – Le origini
Cluster Computing
Molti anni fa, alla fine del secolo scorso, gli scienziati
misero insieme alcuni PC e li fecero comunicare:
nacque Beowulf.
Questi scienziati stavano cercando di affrontare il
problema della crescita di costosi mainframe o
supercomputer. Il successo andò ben al di là dei loro
sogni: molte società oggi offrono cluster di PC come
soluzioni standard per far fronte alla complesse
problematiche di HA.
I cluster possono avere dimensioni differenti. Uno dei
maggiori vantaggi di questo approccio è la scalabilità:
un cluster può crescere semplicemente aggiungendo
PC ad esso, nonostante esistano dei limiti “fisiologici”.
12 – apr – 2006
Tecnologia GRID – Le origini
Peer to Peer computing
12 – apr – 2006
Probabilmente avrete sentito parlare di "Napster', il
sito web che consentiva ai fans di condividere e
scambiare files musicali attraverso la rete da un punto
all’altro del mondo. Scaricando un pezzo di software
sul proprio PC, era possibile connettersi ad una rete di
altri utenti che avevano a disposizione lo stesso
software. Gli utenti non dovevano fare altro che
specificare quale porzione del proprio disco
condividere pubblicamente e potevano accedere alle
risorse messe a disposizione dagli altri utenti.
In questo modo i computer possono condividere files
ed altre generiche risorse direttamente, senza
passare attraverso un server centrale.
Tecnologia GRID – Le origini
Internet computing
Avrete sentito parlare di SETI@home.
Sviluppato dalla University of California - Berkeley,
SETI@home è un "supercomputer" virtuale che
analizza i dati del radio telescopio di Arecibo in Porto
Rico, alla ricerca di segnali vi vita extraterrestre.
Utilizzando Internet, SETI unisce insieme la potenza
di calcolo di oltre 3 milioni di personal computer in
tutto il mondo ed ha già utilizzato l’equivalente di
oltre 600.000 anni di “PC processing power”!
12 – apr – 2006
Tecnologia GRID – Le origini
Internet computing – The SETI@home project
SETI@home è un programma screen-saver che
ogni utente può scaricare dal Web e funziona senza
impattare il normale utilizzo del computer. I vari PC (i
nodi di questa “Grid”) lavorano contemporaneamente
su diverse parti del problema, recuperando “pezzi” di
dati da Internet, elaborandoli e restiruendo quindi i
risultati ad un sistema centrale per il post-processing.
Il successo di SETI ha ispirato molte altre “@home
applications”.
12 – apr – 2006
SETI@home è anche un esempio del concetto di
"cycle scavenging". Il termine significa che è
possibile sfruttare il tempo libero su computer che
non sono direttamente controllati.
Tecnologia GRID – L’evoluzione
La realtà, per il momento, è che non esiste una
singola “GRID” (così come invece esiste una
singola "Internet" ed un singolo "Web").
Esistono molte GRID in evoluzione continua,
alcune private, alcune pubbliche, alcune dentro
un’azienda, dentro una regione, altre di dimensioni
globali. Alcune dedicate a particolari problemi
scientifici, alcune orientate al business, altre a
carattere più generale.
12 – apr – 2006
Tecnologia GRID – L’evoluzione

National Grids
L’idea dietro una Grid “nazionale” è accoppiare risorse
fra nazioni

Private Grids
Le Grid privatePrivate Grids possono essere utili in
molte istituzioni (ospedali, corporazioni, etc). Sono
caratterizzate da una scala relativamente piccola e
obiettivi comuni, spesso allo scopo di integrare
tecnologie a basso costo.Soluzioni commerciali in tal
senso sono già disponibili

Project Grids
Le GRID di progetto sono create per incontrare le
esigenze di istituti, gruppi di ricerca, team virtuali con
scopi prevalentemente scientifici
12 – apr – 2006
Tecnologia GRID – L’evoluzione

Goodwill Grids
Queste GRID sono per chiunque possiede un
computer a casa e vuole “donare” parte delle proprie
risorse per una buona causa

Peer-to-peer Grids
La tecnologia peer-to-peer consente agli utenti di
condividere dati fra di loro, senza il necessario
appoggio di un server centrale (anche se…)

Consumer Grids
In questo caso le risorse sono condivise su base
commerciale, a differenza delle Goodwill Grid.
Compagnie ed organizzazioni varie affittano risorse e
vengono pagate per questo servizio
12 – apr – 2006
Tecnologia GRID – L’evoluzione
In confronto al “sogno GRID”, queste GRID
hanno capacità molto ristrette, per il momento,
ma stanno via via crescendo verso soluzioni più
sofisticate.
A lungo termine si prefigura uno scenario in cui le
capacità di calcolo e di storage di milioni di
sistemi, attraverso la rete globale, funzioneranno
come un unico team, utilizzabile pressochè da
chiunque ne avrà bisogno.
12 – apr – 2006
Tecnologia GRID – Cos’è?
Così come il Web è uno strumento per condividere
informazioni attraverso Internet, GRID è uno
strumento per condividere risorse di calcolo e
risorse di storage attraverso Internet.
Simulare un enorme computer virtuale che, in maniera
intelligente, metta a disposizione le proprie risorse
partendo da sistemi eterogenei connessi tra loro.
Businness
On
Demand
Le imprese hanno a disposizione ON DEMAND tutta
la potenza necessaria ad un costo precedentemente
inaccessibile.
12 – apr – 2006
Tecnologia GRID – Cos’è?
Esistono due principali filoni della tecnologia GRID su
cui il mondo scientifico sta focalizzando i propri sforzi:
Computational GRID
Data GRID
12 – apr – 2006
Tecnologia GRID – Computational GRID
Siamo nel campo di applicazioni
di calcolo ad elevate prestazioni,
l’utente necessita di più
“teraflops“ possibili:
progettazione e testing, processi
batch, computer grafica, modelli
statistici, previsioni meteo, etc…
Spesso questo tipo di applicazioni può trarre beneficio
dalla tecnologia GRID combinando ampie e differenti
tipologie di risorse computazionali per affrontare
problemi che non potrebbero essere risolti su di un
singolo sistema, o almeno per farlo nella maniera più
veloce possibile.
12 – apr – 2006
Tecnologia GRID – Data GRID
Linux file system
Windows file
system
Unix file system
Other file
system
Siamo nel campo di
applicazioni “dataintensive”. Nei prossimi
anni enormi quantità di
dati scientifici e non
giungeranno da differenti
siti del pianeta: non solo
esperimenti astrofisici, ma
anche dati provenienti
dalle più svariate
applicazioni in ambito
scientifico ed industriale.
La tecnologia Grid consente di memorizzare,
organizzare ed analizzare dati mantenendoli in
repository, librerie digitali, database geograficamente
distribuiti.
12 – apr – 2006
Tecnologia GRID – Elementi innovativi (1)
1.
Gestione delle
risorse di rete
sotto utilizzate:
•
macchine desktop
sfruttate meno
del 5%
•
macchine server
con picchi di
inattività
Miglior bilanciamento delle risorse disponibili
12 – apr – 2006
Tecnologia GRID – Elementi innovativi (2)
2.
Risorse virtuali:
condivisione di risorse (cpu, file system, sw,
servizi, licenze, dispositivi remoti, larghezza di
banda,…) tra sistemi eterogenei attraverso
standard precisi
3. Calcolo parallelo e distribuito:
•
possibilità di eseguire sotto-processi su risorse
differenti
•
gestione di applicazioni e servizi distribuiti
Migliore gestione delle risorse
12 – apr – 2006
Tecnologia GRID – Elementi innovativi (3)
4. Affidabilità:
per aumentare l’affidabilità è spesso necessaria una
duplicazione dei componenti: l’hardware risulta molto
costoso.
in un sistema Grid ben organizzato questo problema
non sussiste: se un componente della rete fallisce, le
altre parti sono in grado di sopperire.
5.
Sicurezza:
autenticazione a chiave pubblica e chiave privata,
certificati digitali e single sign-on consentono uno
scambio sicuro di informazioni sensibili tra gli utenti
dell’Organizzazione Virtuale (VO).
Ogni applicazione gestita dalla Grid ha a
disposizione questi strumenti
12 – apr – 2006
Architetture GRID e architetture esistenti
Elemento critico
Stato dell’arte
Innovazione
Utilizzo CPU remote
Solo su reti aziendali e mediante
assegnazione puntuale di una
risorsa. Richiesta identificativi
sistema ospitante.
Accesso garantito ad ogni nodo della
rete GRID. L’utente ignora quale
processore sia messo a disposizione
per l’esecuzione di un determinato job
Data sharing
Possibile su architetture dedicate
(SAN - Storage Area Network) o
su dispositivi di rete (NAS –
Network Attached Storage)
Accesso trasparente a sistemi di
storage della GRID. L’utente non deve
comperare uno spazio prefissato ma
lo richiede a seconda della necessità.
Larghezza di banda
La larghezza di banda utilizzata è
determinata in modo statico con
l’ISP. Non viene modificata in modo
dinamico.
L’infrastruttura GRID è in grado di
utilizzare l’instradamento più efficace
per un determinato job, in maniera
trasparente all’utente.
Co-progettazione
interaziendale
Possibile solo su architetture
dedicate e condivise tra una o più
aziende. Scarsa flessibilità. Elevati
costi e rischi di errori progettuali.
La GRID consente di lavorare in
maniera trasparente sulle stesse
risorse e condividere licenze SW.
Clusterizzazione tra
nodi non omogenei
E’ possibile una clusterizzazione tra
nodi non omogenei, ma al solo fine
di condividere dati e non per coprocessing.
Le reti GRID, per definizione, sono
cluster composti da nodi non
omogenei, che possono cooperare tra
di loro.
Virtualizzazione di
risorse non
omogenee
Possibile parzialmente solo per
dispositivi di storage.
Le GRID rendono virtuali CPU e
storage anche se composte da
elementi tra loro eterogenei.
12 – apr – 2006
Tecnologia GRID – Stato dell’arte
Le infrastrutture Grid sono ottenibili attraverso la
progettazione, l’installazione e la configurazione di appositi
strati software (middleware) o specifici applicativi messi a
disposizione dai principali leader dell’IT a livello mondiale.
12 – apr – 2006
Tecnologia GRID – Stato dell’arte
Prodotti commerciali
 Computational Grid:
LSF, PBS, Datasynapse
 DataGrid:
Avaki
Prodotti freeware:
 Computational Grid:
Globus, Condor, openPBS
 DataGrid:
SRB, Alien
12 – apr – 2006
Tecnologia GRID – Accesso ai servzi
Soluzione 1 (Grid client)
Un’azienda può accedere ai servizi forniti da
un Grid Service Provider senza implementare
una soluzione in casa.
User
http
Browser
12 – apr – 2006
Portale
Grid
Service
Provider
Tecnologia GRID – Accesso ai servzi
Soluzione 2 (Grid node)
Implementazione di un proprio nodo Grid
A seconda della tipologia di servizio richiesta:
•Computational grid
•Data grid
12 – apr – 2006
Architettura di un nodo
12 – apr – 2006
Sommario
• Network Integration & Solutions – L’azienda
• La tecnologia GRID
• Il progetto di rete GRID pilota
• Gli applicativi pilota
• Conclusioni
12 – apr – 2006
Il progetto di rete GRID
pilota
12 – apr – 2006
Architetture GRID
Sono state implementate tre differenti architetture:
Grid Globus
Ambiente destinato a diventare lo standard de facto
della tecnologia Grid. Un’architettura in grado di
contenere differenti tipologie di servizio in un’unica
soluzione completamente integrata. Soluzione opensource.
Grid LSF
Architettura per il calcolo distribuito e parallelo
orientata all’erogazione di servizi verso soggetti che
necessitano di aumentare la potenza di calcolo
aziendale. Soluzione commerciale.
12 – apr – 2006
Grid SRB
Architettura per la virtualizzazione dello storage.
Consente un accesso uniforme e indipendente dalla
piattaforma alle risorse presenti su differenti supporti
fisici. Orientata in particolar modo a realtà aziendali
che necessitano di una gestione complessa e geografica
dei dati. Soluzione open-source.
GRID - Globus
12 – apr – 2006
Middleware Grid - Globus
Globus – Lo standard
Perchè Globus?
Software open source
Standard de facto per la costruzione di una
infrastruttura Grid
Ideato dai “padri” del concetto di Grid: Foster e
Kesselman
Basato interamente su tecnologie standard: Java,
XML, WSDL, SOAP, HTTP, X509
GT4 è un middleware multipiattaforma e portabile.
12 – apr – 2006
Middleware Grid - Globus
Globus – Lo standard
Infrastruttura del middleware
Globus ha una struttura a “pillard”
Resource
Management
Information
Service
Data
Management
Da Web Service a Grid Service.
Grid Security Infrastructure
12 – apr – 2006
Middleware Grid - Globus
Globus – Lo standard
Sicurezza
 GSI (Grid Security Infrastructure) offre:
 autenticazione a chiave pubblica (PKI)
 certificati digitali (X.509 certificate)
 autenticazione singola (una volta all’inizio delle
operazioni sulla Grid)
 delega delle credenziali (Proxy delegation)
 GSI è basato su tecnologia standard
12 – apr – 2006
Middleware Grid - Globus
Globus – Lo standard
GT 4.0
Linux RH9
Linux RH9
Linux RH9
SITE 1
100 Mbit
LAN
WAN
SITE 2
GT 4.0
LAN
12 – apr – 2006
Linux RH9
Linux RH9
Linux RH7.3
100 Mbit
Il GRID portal
Gridsphere
12 – apr – 2006
Middleware Grid - Gridsphere
Framework open-source che offre funzionalità ampie e un
ambiente predisposto a colloquiare con un’infrastruttura
Globus.
12 – apr – 2006
 Open-source
 Sviluppato in accordo alle specifiche JSR168 e con l’ambiente di
sviluppo IBM WebSphere
 Supporto e facile integrazione di portlet prodotte da “terze parti”
 Layout basato su una presentazione XML flessibile e facilmente
customizzabile
 Supporto per il controllo e gestione dei ruoli di accesso al portale
basato su RBAC (Role Based Access Control)
 Modello dei servizi portlet sofisticato che consente la creazione di
servizi utente, dove i differenti servizi possono essere limitati a
seconda dei diritti degli utenti
 Persistenza dei dati fornita utilizzando Hibernate per il supporto
di database relazionali
 Core portlet includono funzionalità di base quali login, logout,
controllo di accessi e gestione utenti
Middleware Grid - Gridsphere
Gridsphere
– Il portale –
GRID
GridSphere
screenshot
(1)
12 – apr – 2006
Middleware Grid - Gridsphere
Gridsphere – Il portale GRID
12 – apr – 2006
Computational GRID
LSF
12 – apr – 2006
Computational Grid - LSF
LSF (Load Sharing Facility) - prodotto di Platform
• Si adatta a realtà aziendali con necessità di calcoli massivi e
ripetuti
• Consente di sfruttare al meglio le risorse di CPU preesistenti
in azienda, anche in realtà eterogenee:
AIX, IRIX, Tru64, HP-UX, Solaris, Linux e Windows – 32-bit/64-bit
• Orientato al calcolo distribuito e parallelo
• Architettura scalabile ed altamente performante:
OGSI-compliant (interoperabilità con Globus) - Fino a 100 cluster, 200K CPU e 500K job
attivi per cluster
• Gestione avanzata del ciclo di vita dei job e schedulazione dei
processi di calcolo
Massima libertà di configurazione delle policy aziendali
• Sicurezza
12 – apr – 2006
Accesso sicuro alle risorse: standard 56-bit encryption (optional 128-bit)
Computational Grid - LSF
LSF (Load Sharing Facility) - prodotto di Platform
Solaris
EnginFrame Portal
LSF 6.0 - Master
SITE 1
Windows
Linux
LSF 6.0
LSF 6.0
LSF 6.0
100 Mbit
LAN
10 Mbit
VPN
10 Mbit
LAN
100 Mbit
LSF 6.0
Windows
12 – apr – 2006
SITE 2
Il GRID portal
EnginFrame
12 – apr – 2006
Computational Grid - EnginFrame
Accesso al nodo Grid LSF tramite portale EF
EnginFrame
LSF
Internet
Web
Access
EF agent
EnginFrame
Portal
12 – apr – 2006
LSF Node
Computational
Grid
Computational Grid - EnginFrame
EnginFrame
Sistema distribuito costituito da un processo Server, basato su
un Web Server, e uno o più processi Agent in grado di
interagire con il Server tramite messaggi XML.
•Approccio webcentric
Permette agli utenti di accedere alle applicazioni da ogni posto, in qualunque
momento e da qualunque piattaforma
•Meccanismo di autenticazione
Accesso efficace e consistente alle applicazioni, ai dati e alle informazioni
specifiche per l’utente
•Sviluppato per una specifico gruppo di utenti
Focalizzato all’oggetto dell’attività dell’impresa e finalizzato a migliorarne la
produttività
12 – apr – 2006
Computational Grid - EnginFrame
Visualizzazione risorse
12 – apr – 2006
Computational Grid - EnginFrame
Gestione dei processi
12 – apr – 2006
Computational Grid - EnginFrame
Gestione dei processi
12 – apr – 2006
Storage Resource
Broker
12 – apr – 2006
Data Grid - SRB
Storage Resource Broker
 Obiettivo: implementazione di un ambiente datagrid
per condivisione di risorse di storage
 Datagrid permette:
• Condivisione data storage
File system
condivisi
Database
federati
• Trasferimento più veloce e sicuro dei dati
• Replicazione dati - backup
12 – apr – 2006
Data Grid - SRB
Storage Resource Broker
I principali middleware che rispondono a
queste esigenze sono:
1.
2.
3.
EDG (European Data Grid)
Alien (Alice Environment)
SRB (Storage Resource Broker)
implementazione nodo SRB
12 – apr – 2006
Data Grid - SRB
Middleware di tipo client-server che fornisce un’interfaccia di
accesso uniforme a dati e metadati geograficamente distribuiti
su sistemi eterogenei .
Caratteristiche:
 uno spazio dei nomi logico
 interfacce verso una vasta quantità di sistemi di memorizzazione
 sistemi di trasferimento dati ad alte prestazioni
 sistemi per il fault-tolerance ed il fail-over
 gestione degli account e dei meccanismi di autenticazione –
autorizzazione
 insieme di tool grafici per la configurazione e la gestione via web
12 – apr – 2006
 ampio insieme di API (C, C++, Java)
Data Grid - SRB
•
•
•
•
•
12 – apr – 2006
Middleware con architettura client-server
Condivisione di risorse dati eterogenee
Gestione logica dei dati
Replicazione dei dati
Garanzia di sicurezza
Data Grid - SRB
SRB - Virtual layer
Linux file system
Windows file system
Unix file system
12 – apr – 2006
Unix file system
Linux file system
Windows file system
Data Grid - SRB
Storage Resource Broker
Architettura nodo SRB
SITE 1
MySRB portal
SRB server
SRB client
Linux
SRB server
SRB server
SRB client
SRB client
MCAT server
Windows
Solaris
SRB server
SRB client
SRB server
SRB client
WAN
SITE 2
SRB server
SRB client
12 – apr – 2006
Linux
SRB
client
SITE 3
Linux
Il GRID portal
MySRB
12 – apr – 2006
Data Grid - MySRB
MySRB – Il portale DataGRID
• fornisce un unico punto di accesso allo storage virtuale
• consente di gestire i dati condivisi ed i rispettivi
metadata indipendentemente dalla loro locazione fisica
12 – apr – 2006
Data Grid - MySRB
SRB
server
SRB user
MCAT
server
MySRB
Portal
Storage
Resource
Broker
12 – apr – 2006
n SRB clients
Nodo
SRB
Data Grid - MySRB
MySRB – Gestione risorse
12 – apr – 2006
GRID Portal
Accesso ai servizi Grid tramite portale
SRB Node
Internet
Servizi
Web
Access
Globus Node
Grid
Portal
Grid Globus
Grid LSF
Grid SRB
12 – apr – 2006
LSF Node
GRID Portal
Accesso ai servizi Grid tramite portale
12 – apr – 2006
Sommario
• Network Integration & Solutions – L’azienda
• La tecnologia GRID
• Il progetto di rete GRID pilota
• Gli applicativi pilota
• Conclusioni
12 – apr – 2006
Gli applicativi pilota
12 – apr – 2006
Applicazioni Pilota
Il costante confronto con le PMI da un lato e la
consapevolezza
della
continua
evoluzione
tecnologica dall’altro hanno portato a focalizzare
l’attenzione su alcune tipologie di applicativi:
 Calcolo distribuito
 Diagnosi precoce del morbo di Alzheimer
 Modellatore statistico
12 – apr – 2006
Applicazioni Pilota
RGM – Post-elaborazione del Burn-in
L’obiettivo:
distribuire
la
post-elaborazione
dell’output prodotto dal software di gestione del
burn-in mediante fieldpoint su più nodi e controllare
il ciclo di vita dei job attraverso una gestione
centralizzata dei processi di calcolo.
Contesto applicativo: azienda produttrice di
alimentatori ad alta tecnologia, trasformatori,
circuiti ibridi di controllo e di potenza.
Vantaggi:
• Possibilità di distribuire il calcolo sulla Grid
• Gestione centralizzata del ciclo di vita dei job via web
• Architettura scalabile
12 – apr – 2006
Applicazioni Pilota
RGM – Post-elaborazione del Burn-in
Elaborazione su Grid
Element
#Files
Proc. Time
(3 nodes)
Proc. Time
(6 nodes)
Elaborazione su singolo host
Element
# Files
Processing time
Single/GRID
host1
5
415 sec
+40.7%
GRID
5
295 sec
295 sec
host2
5
486 sec
+65.1%
GRID
10
352 sec
352 sec
host3
5
491 sec
+66.4%
GRID
15
407 sec
407 sec
host1
10
451 sec
+28.1%
GRID
20
437 sec
437 sec
host2
10
561 sec
+59.4%
GRID
30
495 sec
495 sec
host3
10
578 sec
+64.2%
GRID
60
998 sec
495 sec
host1
20
556 sec
+27.2%
host2
20
789 sec
+80.5%
host3
20
858 sec
+96.3%
host1
30
650 sec
+31.3%
host2
30
992 sec
+85.4%
Caratteristiche macchine
Element
CPU
RAM
O.S.
host3
30
1104 sec
+123.1%
host1
1.6Ghz
512Mb
RH9
host1
60
1189 sec
+140.2(19.1)%
host2
600Mhz
384Mb
Y2K
host2
60
1843 sec
+272.3(84.7)%
host3
600Mhz
384Mb
RH9
host3
60
2015 sec
+307.1(101.9)%
12 – apr – 2006
Applicazioni Pilota
RGM – Post-elaborazione del Burn-in
Processing
time
Single/GRID comparation
Single/GRID comparation
2500
Processing
time
2000
2500
1500
2000
1000
1500
1000
500
500
0
5
10
15
20
30
GRID 6
GRID 3
host1
host2
host3
12 – apr – 2006
60
# files
0
5
10
Element
15
20
30
60
# files
CPU
RAM
O.S.
host1
1.6Ghz
512Mb
RH9
host2
600Mhz
384Mb
Y2K
host3
600Mhz
384Mb
RH9
Applicazioni Pilota
Elaborazione di immagini:
Demo Pov-Ray
L’obiettivo: dimostrare le potenzialità dell’architettura
GRID per il calcolo distribuito attraverso un algoritmo di
elaborazione di immagini basato su una tecnica di
rendering chiamata ray-tracing (Pov-Ray).
Contesto applicativo: qualsiasi azienda che necessiti
potenza di calcolo (progettazione, testing, compilazione,
elaborazione numerica)
Vantaggi:
• Possibilità di distribuire il calcolo sulla Grid
• Gestione centralizzata del ciclo di vita dei job via web
• Architettura scalabile
12 – apr – 2006
Applicazioni Pilota
Elaborazione di immagini
12 – apr – 2006
Elaborazione su singola macchina
Elaborazione su GRID
Applicazioni Pilota
Il modellatore statistico
L’obiettivo: mettere a disposizione delle PMI un
servizio di “DATA MINING” per classificazione,
previsione o analisi di correlazioni relativamente a dati
provenienti da processi industriali e aziendali
Contesto applicativo: diagnosi e controllo di qualità.
GPS (Green Power Solutions Srl) ha fornito dati su cui
è stata condotta una sperimentazione.
Vantaggi:
• Distribuire un algoritmo computazionalmente
pesante per fornire una risposta più veloce
all’utente, garantendo affidabilità
• Trasferire dati di natura “sensibile” in un ambiente
12 – apr – 2006
sicuro
Applicazioni Pilota
Diagnosi precoce del morbo di Alzheimer
L’obiettivo: fornire accesso uniforme a dati e metadati
geograficamente distribuiti su piattaforme eterogenee
ed al tempo stesso ottimizzare l’esecuzione degli
algoritmi SPM (Statistical Parameter Mapping) di
elaborazione su tali dati.
Contesto applicativo: condivisione di informazioni
residenti all’interno di diverse organizzazioni (sanitarie e
non) in maniera sicura, scalabile e performante.
12 – apr – 2006
Vantaggi:
• Virtualizzazione dello storage
• Accesso geograficamente distribuito
• Trasferimento dei dati più sicuro e veloce
• Elaborazione sui dati distribuita
Applicazioni Pilota
Diagnosi precoce del morbo di Alzheimer
PET images
PET images
PET images
Hospital A
Site 1
Hospital B
Site 2
Hospital C
Site 3
Data Grid
Processing
Site A
SPM Processing
Processing
Site B
12 – apr – 2006
Applicazioni Pilota
Diagnosi precoce del morbo di Alzheimer
Sperimentazione:
• sono state utilizzate immagini SPECT autentiche
fornite dall’ospedale San Raffaele di Milano;
• selezione dell’immagine “campione”;
• estrazione dei parametri significativi da altre
immagini geograficamente distribuite in diversi siti;
• elaborazione matematica con individuazione delle
“aree patologicamente anomale” nell’immagine
“campione”
12 – apr – 2006
Risultati:
• i dati non vengono spostati dai diversi siti geografici
perchè sono condivisi nella Grid
• riduzione dei costi
• tempi di analisi ridotti perchè viene sfruttata la
potenza di calcolo della Grid
Sommario
• Network Integration & Solutions – L’azienda
• La tecnologia GRID
• Il progetto di rete GRID pilota
• Gli applicativi pilota
• Conclusioni
12 – apr – 2006
Conclusioni
12 – apr – 2006
Conclusioni
La tecnologia GRID rappresenta un potenziale enorme per le
imprese, nonostante esistano ancora barriere che si
frappongono, al momento attuale, ad una loro rapida diffusione.
Due sono i principali aspetti “critici”:
1) le tecnologie GRID, sviluppate in ambito scientifico, sono
ancora relativamente immature per un diffuso uso a livello
industriale, soprattutto nel segmento delle imprese mediopiccole;
2) la cultura informatica delle imprese di medio-piccole
dimensioni è spesso modesta e ciò rende difficile la
comprensione e l’introduzione di sistemi IT avanzati nei cicli
produttivi aziendali;
A fronte di queste difficoltà, potenzialmente, le tecnologie GRID
rappresentano una significativa opportunità per le imprese.
12 – apr – 2006
Conclusioni – Immaturità della tecnologia
Per quanto riguarda l’immaturità della tecnologia per un diffuso uso
industriale, si possono elencare i seguenti aspetti:
 l’architettura per ottenere una soluzione completa è complessa
 l’offerta non è omogenea
 per alcuni moduli software esistono soluzioni sia commerciali che
open source
 per altri moduli le soluzioni disponibili sono più rare, quando addirittura
inesistenti
 anche quando le soluzioni sono disponibili, esse spesso sono
finalizzate ad utilizzi specifici (es. ambito finanziario o progettuale)
 una volta individuati tutti i moduli software necessari a comporre
l’architettura, l’integrazione degli stessi è complessa
 le operazioni di configurazione e di manutenzione sono relativamente
complesse e possono essere svolte solamente da personale qualificato
che abbia effettuato training specifico sulle tecnologie impiegate
12 – apr – 2006
Conclusioni – Capacità di penetrazione
Relativamente alla capacità di penetrazione di sistemi IT avanzati nei
cicli produttivi aziendali:
 le conoscenze in ambito IT possedute dalle imprese, mediamente,
non sono di livello avanzato
 allo stato attuale, nessuna azienda (non informatica) sarebbe in
grado di selezionare ed utilizzare tecnologie GRID per realizzare una
propria infrastruttura
 l’offerta di competenze specialistiche professionali esterne è
assolutamente carente
Questo fatto unito alle difficoltà insite nella tecnologia ed elencate al
punto precedente fa sì che esista un grande gap di tipo “culturale” tra le
potenzialità offerte dalle reti GRID e le aspettative, spesso più
modeste, delle imprese.
12 – apr – 2006
Probabilmente, come successo nel caso della diffusione di Internet,
saranno i grandi gruppi industriali a fare da “driver” nell’uso della
tecnologia e successivamente traineranno le aziende più dinamiche ed
innovative.
Conclusioni – Potenzialità della tecnologia
Al di là degli aspetti “critici” precedentemente evidenziati:
 una volta che l’infrastruttura GRID è stata realizzata ed è
funzionante correttamente, essa presenta caratteristiche di sicuro
interesse
 in particolare la possibilità di avere a disposizione importanti risorse
di calcolo ed immagazzinamento dati, modulabili a seconda delle
esigenze temporanee dell’azienda
E’ ipotizzabile in un prossimo futuro, quando saranno disponibili Grid
Service Provider (Server Farm basate su tecnologie GRID e gestite
da aziende terze), uno scenario in cui le aziende potranno
riprogettare tutto o parte del loro IT interno aumentando notevolmente
l’efficienza aziendale ed abbattendo contemporaneamente i costi di
gestione.
12 – apr – 2006
Relativamente invece alla possibilità di allestire infrastrutture GRID
interne, si ritiene che esse necessiteranno ancora per lungo tempo
dell’intervento sia in fase di progettazione che di realizzazione e
manutenzione di aziende specializzate esterne.
Il nostro futuro
GRID Service Provider
Il progetto ha come fine l’apprendimento ed il consolidamento delle
competenze riguardanti la tecnologia GRID all’interno dell’azienda
NIS.
Questa iniziativa è finalizzata alla creazione di un nuova “business
unit” con lo scopo di offrire un servizio di “Grid Service Provider” –
(G.S.P.) rivolto prevalentemente al mondo produttivo ed industriale.
Questa scelta è motivata dalla constatazione che la tecnologia
GRID è attualmente in rapida espansione all’interno delle grandi
imprese ed è previsto che possa nel futuro diventare di interesse
anche per attori medio-piccoli.
Il progetto di ricerca e sviluppo si orienta all’acquisizione della
tecnologia corrente nel campo ed al suo adattamento allo scenario
della offerta di servizi alle piccole e medie imprese del territorio.
12 – apr – 2006
Il nostro futuro
GRID Service Provider
Il progetto verrà sviluppato attraverso i seguenti obiettivi realizzativi:
 Studio di fattibilità
 Progettazione infrastruttura hardware
 Progettazione Middleware
 Sviluppo Applicativi
12 – apr – 2006
Il GRID nella vita quotidiana
Può risultare difficile immaginare come la tecnologia GRID
influenzerà la vita di tutti i giorni ma è utile ricordare alcune
famose predizioni sul futuro dei computer:
"The world will only need five computers"
attribuita a Thomas J. Watson, IBM
"640 kilobytes is all the memory you will ever need"
attribuita a Bill Gates, Microsoft
"There is absolutely no need for a computer in the home"
attribuita a Ken Olsen, DEC
12 – apr – 2006
Una cosa analoga accadde con lo sviluppo del Web, quando fu
inventato al CERN ad uso degli scienziati per condividere
informazioni nessuno poteva immaginare la miriade di
applicazioni pratiche e commerciali:
oggi il mondo dell'IT (e non solo) non potrebbe vivere senza il
Web.