La Visione Artificiale in
Applicazioni di Sicurezza
Giovanni Garibotto
Elsag Spa Genova
• Riconoscimento caratteri e lettura mobile di targhe
• Detezione di ostacoli 3D in movimento (un progetto
in fase di sviluppo)
• Visione 3D per la ricostruzione di scene incidentate
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Sistema di lettura Targhe Mobile a Bordo Auto
O2CR “Auto-Detector”
Un Ausiliario Elettronico per la pattuglia a
bordo
Due occhi dedicati alla sicurezza
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Auto-Detector
Specifiche dei Requisiti:
•
•
•
•
•
•
•
Massima raccolta targhe durante una normale missione di auto-pattuglia
Lettura in aree urbane ed extraurbane (autostrade) senza limiti di velocita’
Servizio continuativo 24 h su 24 (diurno-notturno)
Segnalazione immediata di allarme con liste aggiornate (> 500000 elementi)
Miniaturizzazione dell’apparato sensoriale (integrazione con dispositivi esistenti)
Bassi consumi e vincoli di alloggiamento
Non interferire con la normale operativita’ del personale
Sfide tecnologiche:
• Lettura continua e integrazione temporale
• Gestione di orientamenti arbitrari delle targhe e letture multiple
• Compensazione della dinamica di illuminazione non controllabile
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Configurazione di ripresa per il Lettore a bordo auto
6 m. c.a.
3 m c.a.
6 m. c.a.
3 m c.a.
Copertura simultanea di lettura delle due corsie adiacenti a quella di marcia
Per ogni transito rilevato da ciascuna delle telecamere vengono registrati:
• Stringa corrispondente alla targa letta
• Ora e data
• Posizione (georeferenziata GPS fornita dal dispositivo Route Planner di navigazione)
• Immagine del transito (compressa)
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Condizioni di leggibilita’ targhe
S
dmax
Lmax
dmax
Le aree in rosso descrivono le
zone coperte dal sistema di
ripresa durante la marcia, in
cui le targhe risultano
“leggibili”
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Inclinazione α
Schema funzionale del sistema Auto-Detector
CENTRALE
Operativa
Postazione Radiolocalizzazione
ACCENTRA
GEODI
Postazione Controllo Targhe
Introduzione e
cancellazione
targhe in lista nera
TRG
Comunicazione con
veicolo
LAN
Radiolocalizzazione
veicolo
Ricezione allarmi
Consultazione
transiti
Modem
GSM
WirelessLAN
Telecamera sx
VEICOLO
Modem
GSM
Una Società Finmeccanica
RS 232
RS 232
Master in Matematica per le Applicazioni, Bologna 3/7/03
FPM
Telecamera dx
Scheda Tecnica del sistema AutoDetector
• Sensore miniaturizzato integrato con due
microcamere digitali B/W progressive con ottica
NF 12mm e mini illuminatori IR flash (88 LED
on chip ad alta densita’)
• Ampia possibilita’ di espansione verso
sensori ad alta risoluzione e alta sensibilita’
• Unita’ di elaborazione nel vano bagagli delle
vettura
• Processore INTEL X-Scale a elevate prestazioni
(880 MHz, 32 bits, 64 MB RAM)
• Rete a 100 Mb/s
• Bassi consumi < 15W, e alimentazione a 12 VDC
• Elevata compattezza
• Componente di una rete espandibile
• Facilita’ di connessioni remote per manutenzione
ed aggiornamento
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
O2CR-Diagramma di flusso
Acquisizione video continua
Controllo esposizione
Elaborazione immagini e regione di interesse ROI
Segmentazione ROI e riconoscimento caratteri
Analisi contestuale e Understanding
Aggiornamento e manutenzione Base-Dati targhe
Confronto liste targhe (bianche-nere)
Interfaccia Applicativa (MMI - utente)
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
O2CR Processo di Lettura Targhe
Pre-Processing: Elaborazione della sequenza video per
selezionare automaticamente i quadri immagine in movimento”
OCR Engine: Estrazione e misura caratteri targa nelle regioni
ROI selezionate e validazione contestuale
• Localizzazione Campo Targa
• Segmentazione Caratteri
• Misura e Riconoscimento Caratteri
• Validazione Contestuale
Post-Processing: Integrazione temporale e fusione dei
caratteri targa da letture successive
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
O2CR Engine :Riconoscimento e Misura 1
Si tratta in genere di OCR monofont, quindi con distribuzioni di probabilita` modellabili
come “nuvole” centrate attorno ad un punto (archetipo) nello spazio delle features.
Features utilizzate:
mappa “grigi” locali di dimensione fissa e spaziatura adattata
Distribuzione di probabilita`:
stimata con media e covarianza delle 36 classi alfanumeriche
Classificatore utilizzato:
maximum likelyhood con distanza di Mahalanobis
-1/2 ( X-Mi )T Q-1 ( X-Mi )
dove
Mi
vettore medio della classe i
Qi
matrice di covarianza della classe i
Criterio di scarto distanza superiore ad un valore prefissato
Esempio di carattere
segmentato, mappa di
features
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
O2CR Engine: Post-Processing
• Confronto e integrazione delle targhe riconosciute
nei quadri immagine che compongono la sequenza
video per selezionare i dati piu’ stabili e corretti
• Misura della distanza tra stringhe alfanumeriche di
testo per decidere l’accettazione del candidato targa
• Si ottiene un sensibile miglioramento del
riconoscimento targa rispetto alle misure condotte
su singoli quadri immagine
• Confronti con liste bianche (veicoli autorizzati) e liste
nere (generazione allarmi)
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Prestazioni del sistema Auto-Detecto
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Prestazioni del sistema Auto-Detecto
• Lettura continua giorno e notte e transizioni
brusche (gallerie) pioggia, ecc.
• Ottimizzato per le targhe italiane con
equivoco inferiore a 0.5%
• Predisposto per la lettura targhe
internazionali (training e contesto-libero)
• Vetture parcheggiate al bordo strada lungo
tratti urbani
Riprese a velocita’ 50 km/h
• Percentuale media di letture corrette
rispetto a quelle leggibili > 90%
• Vetture in movimento lungo tratti
autostradali o strade ad elevato scorrimento
• Percentuale media di letture corrette
rispetto a quelle leggibili > 95%
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS
Moving Obstacle Detection System
• Le specifiche e requisiti applicativi di riferimento
• La soluzione proposta
• Configurazione adottata e modalita’ di installazione
• Descrizione del processo
• Alcuni esempi
• Sviluppi in corso
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
ODS- Stazioni Metropolitane 1
L’obiettivo principale dell’ODS e’ quello di generare un allarme
quando un oggetto di dimensioni predefinite (un cubo di 30 cm. di
lato e’ utilizzato come “test-body”) cade in una zona pericolo.
(zona binari).
E’ definita una barriera virtuale
all’altezza del marciapiede, come
zona di sicurezza.
• L’oggetto non deve essere metallico ne’ avere proprieta’ di conducibilita’
• Non si devono avere falsi allarmi per:
• Variazioni nelle condizioni atmosferiche e di illuminazione
• Fogli di giornale, pacchetti di sigarette, ecc.
• Transito di treni
• Tempo di risposta nella detezione oggetto (allarme) < 300 msec.
• Copertura di tutta la lunghezza del binario in stazione (c.a. 40 m.)
• Garantita una illuminazione ambientale >10 lux
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
ODS- Stazioni Metropolitane 2
Barriere ottiche
Barriere Laser
• Frequenti falsi allarmi
• No-documentazione dell’evento
• Difficile installazione (ingombri
in zona danger)
Soluzioni attualmente in fase di
valutazione
• Difficile manutenzione
(interruzione servizio)
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS- La Proposta Elsag 1
Base telemetrica fra
le due telecamere
Assetto Binoculare convergente
Vantaggi:
Elimina falsi allarmi generati da:
• Ombre e riflessi di luce
• Fogli o superfici piane
B
Una telecamera (master) rileva le variazioni di
movimento
La seconda telecamera verifica la consistenza
3D delle aree rilevate in movimento
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS- La Proposta Elsag 3
Modello
binoculare
Modello predizione-verifica
Ogni piano nello spazio 3D determina
una tabella di corrispondenza (look-up)
tra i punti immagine Master e Slave
B
Autocalibrazione
sul piano da
analizzare
Vantaggi principali:
• Insensibilita’ a variazioni di luce (coppie di
telecamere sincronizzate)
• Velocita’ di processing (look-up limitate alle
aree in movimento)
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS- La Proposta Elsag 2
MODS: Moving Obstacle Detection System
4.39 m
13.88
m
13.88
m
13.88
m
4.39 m
Configurazione sensoriale (6 sensori stereo) per coprire la lunghezza del binario in stazione
Sensore base:
•
•
•
•
•
Aggiornamento del background e controllo esposizione
Detezione movimento (change-detection) della Telecamera master: zone candidate (blob)
Estrazione contorni (in movimento)
Correlazione immagini (ai diversi pianio selezionati)
Estrazione features (globali e ai singoli piani): densita’ punti “attivi”, posizione
(baricentri) assi di inerzia
• Detezione (warning e allarmi) con euristiche (processo “generico”) da specializzare con
opportuna fase di “training”
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS- La Proposta Elsag 4
Architettura di sistema
LAN 1
LAN 2
Basic
Sensor
Basic
Sensor
I/F to External Systems SCADA,
TLC, ecc.
Basic
Sensor
Basic
Sensor
Alarm Mngm.
Supervision
SUP-1
Basic
Sensor
Basic
Sensor
Alarm Mngm.
Supervision
SUP-2
Basic
Sensor
Basic
Sensor
Rail track 1
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Rail track 2
3D MODS- Situazione attuale prototipo “base”
Configurazione di ripresa
Sensore binoculare
Procedure di Calibrazione e Installazione (messa
in servizio):
• Selezione nella scena di punti 3D (sparsi) su
due piani ad altezza 0 e h, rispettivamente
• Costruzione della matrice fondamentale F
(relazione epipolare)
• Costruzione delle trasformate (omografie) sui
due piani selezionati
• Interpolazione lineare dei piani con vincolo
epipolare
O = (1-dz/h) O0 + (dz/h) Oh
Una Società Finmeccanica
Left
Master in Matematica per le Applicazioni, Bologna 3/7/03
Right
3D MODS- Assetto stereo di ripresa”
Punti P con
giacitura su un
piano di riferimento
P
Parallela alla
direzione P1
P1
P2
O1
Ep2
Una Società Finmeccanica
O2
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS- Interpolazione con omografia all’infinito
Omografia al suolo O0 ottenuta dalla corrispondenza di N pti (>=4) su un piano di
riferimento (piano dei binari)


m
m12 m13  x 
u
  
   11
 v    m21 m22 m23    y 
  
 w  m
   31 m32 1   1 
Omografia all’infinito O ottenuta dalla corrispondenza dei punti all’infinito, rispetto
ad un sistema di riferimento 3D comune nella scena (landmark “naturale” dei binari)
Relazione di interpolazione per ottenere l’omografia O al piano corrente, come:
O = H/(H-h) O0 - h / (H-h) O
Si utilizza un sistema di riferimento ortogonale nel mondo costituito da 3 direzioni
ortogonali corrispondenti ai 3 pti di fuga (punti impropri) sul piano immagine
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D MODS- Landmark 3D nella scena
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
3D-MODS- Impianto Pilota METRO-Ge, Certosa-Brin
• Il sistema (un sensore) e’ installato alla stazione
di Genova-Certosa, dal 30-4-03
• Il sistema e’ in grado di rilevare la presenza di
oggetti (di dimensioni superiori a 15 cm. nella
zona di sicurezza all’altezza della banchina
• Puo’ classificare i treni in transito
Esempio di coppia stereo
sincronizzata
Una Società Finmeccanica
Cassetto di
controllo
Master in Matematica per le Applicazioni, Bologna 3/7/03
Sensore binoculare
ORTO-FOTO: Ricostruzione e misure di scene incidenti
Componenti
Compasso landmark
Compatto lunghezza 1 m.
Materiale “Polidur” alta
densita’ molecolare,
resistente e leggero
Trattamento anti UVA con
ampia resistenza a
escursioni termiche e usura
Una Società Finmeccanica
Fotocamera
digitale
4 Megapixel 2272x1704,
a colori
Salvataggio su mini-CD a
sola scrittura
Master in Matematica per le Applicazioni, Bologna 3/7/03
Software di
elaborazione
ORTHO-PHOTO
Ricostruzione in pianta
Ricostruzione grafica scene (schizzo postincidente)
Ricostruzione della scena per una mappatura piu’
realistica della scena
Recupero misure e dati senza elementi di disturbo
(scena sgombra)
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03
Export dati in uscita
Per ogni immagine selezionata:
• Scelta punto di origine (P0) sulla scena e direzione principale (P1) (ad es. lungo una corsia), per
identificare una posizione assoluta di riferimento, ben identificabile nella scena;
• Tutte le coordinate misurate vengono riportate in questo sistema di riferimento
Struttura dati in uscita:
Sequenza dei punti misurati (segmenti in colore blu nella figura) al suolo nel sistema di
riferimento selezionato, che possono essere posizionati su un grafico esterno (ad. Es. CAD)
ESTERNO AL PROGRAMMA ORTHO-PHOTO
P0
Una Società Finmeccanica
P1
Master in Matematica per le Applicazioni, Bologna 3/7/03
Nuove applicazioni e sviluppi in corso
• Misura velocita’ dalla lettura continua delle targhe dei veicoli in transito
• Lettura codici containers nel controllo accesso varchi portuali
• Detezione e classificazione di sorpassi tra mezzi pesanti (con modelli 3D di
veicoli e mezzi)
• Misure stereometriche fra due foto-digitali non-calibrate (landmark)
• Riconoscimento e classificazione transiti di motocicli (struttura targe)
• Classificazione transiti a varchi (persone, veicoli, ecc.)
• Simulazione transiti
Una Società Finmeccanica
Master in Matematica per le Applicazioni, Bologna 3/7/03