SVILUPPO DI TECNICHE DI AUGMENTED REALITY PER LA MANUTENZIONE
AERONAUTICA
F. De Crescenzio, F. Persiani
DIEM - University of Bologna, V.le Risorgimento, 2, 40136 Bologna
[email protected]
1. Introduzione
Elaborata allo scopo di superare alcuni dei limiti legati ai sistemi di Realtà Virtuale
immersivi, l’Augmented Reality (AR) ne ha notevolmente ampliato lo spettro di
applicabilità in diversi settori che vanno dall’ industria alla ricerca scientifica. In
particolare questa nuova tecnologia è stata di recente proposta per introdurre nuove
potenzialità nell’ambito di attività quali la manutenzione di sistemi complessi.
L’approccio grafico ed interattivo, infatti, rivela la possibilità di snellire la gestione ed i
processi di manutenzione, spesso gravati dalla necessità di consultare manuali voluminosi
o cercare la procedura di intervento appropriata.
L’applicazione di nuove metodologie in questo campo potrebbe avere una doppia
ricaduta. Da un lato essa porterebbe, unita ad una riprogettazione dei flussi di
manutenzione ordinaria, ad un aumento della disponibilità della flotta aerea. Dall’altro, si
propone come strumento di guida e supporto per lo svolgimento di operazioni da parte di
personale sì qualificato, ma allo stesso tempo soggetto alla possibilità di commettere
errori, come del resto dimostrato dalle statistiche. Gli errori umani sono stati indicati,
infatti, tra le cause principali fra quelle che possono compromettere la riuscita di un
intervento di manutenzione. A confermarlo la crescente attenzione verso il miglioramento
delle tecniche di manutenzione e l’addestramento del personale focalizzati sulle
prestazioni e sugli “Human Factors”.
In questa relazione verrà presentato un sistema di AR che intende snellire il processo di
manutenzione migliorandone, allo stasso tempo, le prestazioni e, quindi, riducendo la
probabilità del verificarsi di errori dovuti a fattori umani. In particolare questa tecnologia
è basata sulla realizzazione di un ambiente combinato in cui Computer Graphics e realtà
si fondono per fornire una visione ricca di informazioni aggiuntive. Tali informazioni
sono presentate sotto forma di modelli tridimensionali o messaggi di testo che,
sovrapposti al componente in manutenzione, guidano l’operatore in un semplice
approccio step by step. Dotato di un computer portatile e di una telecamera, l’operatore
non deve fare altro che
inquadrare le singole parti
dell’aeromobile. Le immagini
acquisite
vengono
successivamente processate ed
inviate al monitor del computer
dopo essere state integrate con
l’ambiente virtuale. Utilizzando
delle immagini bidimensionali
(pattern)
preregistrate
è
possible risalire, attraverso il
Fig.1 Lo spazio “amplificato”
calcolo della prospettiva inversa della telecamera, alla posizione della stessa rispetto
all’oggetto reale da identificare. Grazie a questo sistema, quando la telecamera si sposta,
l’immagine virtuale viene aggiornata per consentire la corretta collimazione tra i due
ambienti.
La tecnica di riconoscimento dei pattern è stata implementata anche per migliorare e
facilitare la consultazione dei manuali, nonchè per l’aggiornamento dello scadenziario
legato alla pianificazione degli interventi.
2. Applicazioni
Per le sue caratteristiche l’Augmented Reality, come già accennato, è stata proposta in
numerosi settori. La Bell Helicopters, in particolare, già nel 1967 provò per la prima volta
un sistema formato da visori collegati ad una telecamera a raggi infrarossi installata
sull’elicottero e solidale alle rotazioni della testa del pilota. Lo scopo di questo apparato
era di permettere ed aumentare il livello di sicurezza degli atterraggi in zone impervie.
Successivamente, l’Augmented Reality ha trovato applicazione nel campo
dell’intrattenimento, della simulazione e del training nel settore militare, del supporto
grafico per la costruzione e fabbricazione industriale, come strumento di supporto per
valutazione di impatto ambientale, per gli automatismi, ecc. Tra le applicazioni che
maggiormente si avvicinano a quella proposta in questa relazione, si trovano le cosidette
“annotating the real world applications”. Esse si basano sull’idea di associare
un’annotazione grafica ad ogni oggetto all’interno di uno scenario.
Oltre che per il “Real-time maintenance instruction”, la Boeing ha applicato con
successo l’Augmented Reality al processo di definizione ed ottimizazione del lay-out di
parti flessibili (cavi, tubi, etc.) all’interno di spazi ridotti (Wire bundle lay-up assembly).
3. Il flusso di lavoro
1.EQUIPAGGIAMENTO DELL’OPERATORE
2.VISUALIZZAZIONE DEL PERCORSO DI LAVORO E DELLA
SEQUENZA DEGLI INTERVENTI
La reingegnerizzazione del processso di
manutenzione
in
un
approccio
Augmented
Reality
prevede
la
suddivisione
nelle
quatto
fasi
schematizzate in Fig.2.
3.APPLICAZIONE DELLE TECNICHE DI AUGMENTED REALITY E
CONSULTAZIONE AUTOMATICA DEI MANUALI
4.CHIUSURA SESSIONE E REGISTRAZIONE AUTOMATICA
DEGLI INTERVENTI EFFETTUATI
Fig.2
3.1 Equipaggiamento
Nella scelta dell’hardware si è tenuto conto di
diversi fattori. In primo luogo è necessario fornire
strumenti non ingombranti e facilmente trasportabili,
tenuto conto della mobilità di un operatore attorno
all’aeromobile. Inoltre, è molto importante avere uno
strumento in grado di gestire la visualizzazione
Fig.3 La fase di equipaggiamento
grafica tridimensionale e particolarmente flessibile per potere essere facilmente
aggiornato. L’operatore è quindi dotato di un computer portatile e di una telecamera web
come mostrato in Fig.3.
3.1 Percorso di lavoro
La
prima
schermata
riguarda
la
visualizzazione animata del percorso di
lavoro. Una volta portatosi in prossimità
dell’area indicata dalla vista, in pianta o
laterale, dell’aeromobile, l’operatore passa
alla fase 3, descritta in dettaglio nei paragrafi
seguenti. Infine, si registrano i dati relativi
agli interventi eseguiti.
Fig.4
4. L’Augmented Reality
Come precedentemente accennato, i sistemi di Realtà Virtuale immersiva, ovvero quelli
che mirano a creare un ambiente virtuale che sostituisca completamente quello reale, si
sono rivelati in alcuni casi inadeguati. In primo luogo, essi necessitano di strumenti
hardware capaci di gestire pesanti modelli 3D. Inoltre, possono generare la sensazione di
irreale da parte dell’utente, essendo basati sulla creazione di ambienti del tutto sintetici.
La misura di quanto un utente del sistema percepisca reale un ambiente virtuale risulta,
del resto, fondamentale per garantire le prestazioni di una simulazione. Diversamente
l’Augmented Reality, da alcuni tradotta come Realtà Amplificata, si propone di arricchire
lo spazio reale con informazioni aggiuntive, arricchendone la percezione da parte di un
utente attraverso la corretta correlazione tra i due ambienti. Il risultato finale è, in
definitiva, un ambiente combinato risultante dalla fusione di oggetti reali con oggetti
virtuali.
Lo sviluppo dell’Augmented Reality è stato, fino ad oggi, basato su due temi
fondamentali. Il primo riguarda le tecniche di visualizzazione, ovvero i sistemi per
Fig. 5 Video see-through AR
Fig.6 Optical see-throug AR
sovrapporre, o combinare, i due ambienti. Il secondo si riferisce alla ricerca di una
tecnica efficiente per il riconoscimento delle diverse parti che compongono uno scenario
reale, allo scopo di correlarvi dei modelli tridimensionali in maniera dinamica (video
merging).
Gli strumenti (virtual devices) attualmente disponibili permettono una percezione visiva
combinata attraverso due tipi di schemi: Video See-Trough e Optical See-Trough.
L’immagine risultante, infatti, può essere visualizzata sul monitor del PC o, mediante
l’uso di speciali occhiali semitrasparenti detti See-through HMD (Head Mounted
dispaly). Questo dispositivo è in grado di visualizzare su un display l’immagine virtuale
senza precludere all’utente la vista dell’ambiente reale circostante.
Immagine reale
Web-cam
Ricerca del
marker
Calcolo della
posizione relativa
della camera
Generazione
dell’ambiente
virtuale
Visualizzazione dell’ambiente
combinato reale-virtuale sul monitor
del computer portatile
data base
markers
Fig.7 Schema dell’algoritmo
Il funzionamento del sistema si basa sull’uso di una telecamera collegata ad un computer
portatile. Le immagini acquisite dalla telecamera si combinano con i modelli
tridimensionali precedentemente elaborati e tarati sui componenti. Si rende necessario,
dunque, che il computer riconosca, in ogni istante, quale particolare è stato inquadrato, e,
se previsto, qual’è la procedura da seguire in base all’usura, ai danni, alle fratture o altro
visibili sul componente in esame. E’ facile intuire che il successo dell’applicazione è
stretamente legato alla capacità di riconoscere le singole parti, nonchè la posizione e
l’orientamento che queste occupano rispetto alla telecamera. Quello che tra i diversi
metodi ha fino ad ora mostrato il maggior grado di affidabilità si basa sul riconoscimento
di immagini bidimensionali denominate “pattern”. Ciascuno di questi pattern è associato
ad una parte dell’ambiente reale ed il computer è in grado, grazie ad un algoritmo di
pattern recognition, di calcolare la posizione della prospettiva inversa della telecamera
(Fig.7).
5. Implementazione
La prima applicazione pratica del sistema di manutenzione per aeromobili è stata
sviluppata sulla reingegnerizzazione del programma di manutenzione di un P-180
AVANTI. In primo luogo, è stata generata una struttura dati articolata per realizzare il
passaggio di informazioni dal computer all’operatore attraverso due canali: il browsing
elettronico dei manuali e dei libretti di volo e manutenzione, e la visualizzazione di
modelli tridimensionali. Le informazioni fornite dal sistema si classificano in:
1. Modelli e messaggi di testo tridimensionali
2. Manuali multimediali
3. Time scheduling interattivo ed aggiornato
Svitare nei punti evidenziati
dai markers rossi
Fig.8 a) La web-cam inquadra il nose; b) Le immagini vengono analizzate;c) Indicazioni per lo
smontaggio del nose
Inizialmente l’operatore si avvicina area indicata in pianta da una schermata di percorso.
Come mostrato in Fig.4, il primo check deve essere fatto alla parte anteriore
dell’aeromobile. Una volta inquadrato il nose, dalla sequenza video l’algoritmo ricava,
attraverso il riconoscimento del pattern, la posizione di alcuni markers rossi che indicano
i punti e quindi le viti da rimuovere. A
questo punto l’operatore passa
all’avionics disassembly procedure. I
punti critici possono essere evidenziati
attraverso l’impiego di markers
colorati, come nel caso della Fig.9. Si
noti come punti di vista differenti
generano immagini virtuali differenti,
al fine di mostrare i modelli
tridimensionali
perfettamente
e collimati all’ambiente
Fig.9 La posizione e la scala dei modelli virtuali si adattano registrati
reale.
agli spostamenti relativi tra la telecamera e il maker
Fig.10 Avvio automatico dello scadenzario
Oltre ai markers tridimensionali l’immagine può errere
corredata da brevi ma incisivi messaggi di testo in
modo da ridurre le incertezze.
Ogni pattern può essere associato, dunque, o alla
struttura virtuale che dovrà sovrapporsi all’immagine
reale, oppure all’indirizzo di memoria di un file di
documentazione.
Al pannello del combustibile sono associate, ad
esempio, tutte le informazioni riguardanti le norme di
sicurezza da rispettare durante la fase di rifornimento,
la procedura da seguire, i controlli imposti dalla Piaggio
inerenti il Fuel System. In Fig.11 è rappresentata , a
titolo d’esempio, la semplice procedura per la
connessione degli spinotti alla presa esterna del Ground
Power. Ogni spinotto deve essere connesso
precisamente all’unità esterna pena il danneggiamento
irreversibile del sistema. Grafica e documentazione
possono essere gestite per fornire un quadro semplice e
completo delle operazioni in ogni istante del check.
Fig. 11 Istruzioni per il
Battery panel
6. Conclusioni e sviluppi futuri
L’applicazione di tecniche di Augmented Reality ha permesso, in conclusione, di creare
un “simulatore virtuale” in grado di presentare direttamente all’operatore, in tempo reale,
tutte le informazioni necessarie attraverso l’impiego di strumenti innovativi. Tale
approccio consente di ridurre l’incidenza di errori legati ai fattori umani, le difficoltà di
interpretazione dovute alla complessità dei manuali tecnici, l’errata installazione dei
componenti, dimenticanze o distrazioni dovuti alla pressione del tempo che spesso
caratterizza questo tipo di lavoro. Oltre che come supporto on line, il sistema proposto
potrebbe essere impiegato come strumento di formazione, elevando il livello pratico di
apprendimento delle singole operazioni.
D’altra parte è necessario considerare che la tecnica di pattern recognition presenta dei
limiti, primi tra i quali il fallimento dell’algoritmo per la parziale occlusione dei markers
ed il notevole incremento del numero di markers necessario per ottenere una mappatura
dettagliata dell’ambiente. Attualmente sono in esame alcune metodologie che mirano al
riconoscimento diretto delle parti eliminando la necessità di utilizzare immmagini
bidimensionali esterne. Tra le possibili soluzioni è stato sviluppato un sistema di
riconoscimento degli oggetti che accoppia alle tecniche puramente vision-based un
sistema di tracciamento magnetico a sei gradi di libertà (Polhemus Fastrack). Inoltre, si
sta analizzando la possibilità di sfruttare le tecniche di ingegneria inversa, mediante le
quali si ricostruiscono i modelli tridimensionali delle parti, da confrontare con i modelli
contenuti in un data-base dell’ambiente in esame.
7. References
[1] M. Billinghurst, and H. Katu, Collaborative Mixed Reality , Proceedings of first Symposium on Mixed
Reality (ISMR 99) Merging Real and Virtual Words, Berlin, 1999, 261-284.
[2] H. Kato, M. Billinghurst, S. Weghorst and T. Furness, A Mixed Reality 3D Conferencing Application,
(Technical Report R-99-1), 1999, Seattle: Human Interface Technology Laboratory, University of
Washington.
[3] R.T. Azuma, A Sourvey of Augmented Reality, Teleoperators and Virtual Environments 6, 4, August
1997, pp. 355-385.
[4]Y.Cho, J.Park and U.Neumann, Fast Color Fiducial Detection and Dynamic Workspace Extension in
Video see-through Self-Tracking Augmented Reality, Proceedings of the Fifth Pacific Conference on
Computer Graphics and Applications, 1997, 168-177.
[5] J.Park, Bolan Jiang, and U. Neumann, Video –based Pose Computation: Robust and Accurate
Augmented Reality Tracking, Proceedings of the 2nd IEEE and ACM International Workshop on
Augmented Reality, October 20-21, 1999, San Francisco, p.3-12
[6] L. Balis Crema, and A. Castellani, Il ruolo della ricerca nel miglioramento della sicurezza del volo, Atti
del XVI Congresso Nazionale dell’Associazione di Aeronautica e Astronautica Palermo, 24-28 settembre
2001
[7] F. De Crescenzio, F. Persiani, I. Pelliconi “VISION-BASED AUGMENTED REALITY FOR AIRCRAFT
MAINTENANCE” Atti del XVI CONGRESSO NAZIONALE AIDAA 24-28 settembre 2001 PALERMO.
[8] A. Liverani, and F. De Crescenzio “A combined tracking-rendering method for 3D object recognition
in Augmented Reality environment”, Proceedings of the Twentieth IASTED International Conference on
Modelling, Identification and Control (MIC 2001) February 19-22, 2001 Innsbruck, Austria.