Dispense del corso di Sistemi di Elaborazione Acquisizione di immagini a.a. 2006/2007 Sistemi di Elaborazione Acquisizione dell’immagine • Le immagini derivano dalla digitalizzazione di segnali provenienti da diversi sensori: • fotocamera • telecamera • scanner • • • • La sorgente è sempre un sensore digitale L’immagine è acquisita da sensori digitali in grado di misurare e catturare la quantità di fotoni che li raggiunge (la luce). La superficie del sensore è formata da minuscoli fotositi disposti secondo una griglia regolare (campionatura spaziale intrinseca). Questi fotositi sono i micro-sensori che effettuano la conversione da fotoni in elettroni. Il convertitore Analogico Digitale (ADC) produce l’informazione numerica. Inizialmente creati come memorie non volatili in seguito utilizzati come fotorecettori Si dividono in due principali tecnologie costruttive: CCD e CMOS 2 a.a. 2006/2007 Sistemi di Elaborazione CCD (charge coupled device ) • • Sensore allo stato solido inventato nel 1969 ai laboratori Bell da Smith e Willard Amplificazione, ADC e elaborazione esterna al sensore – Immagini ad alta qualità (fill factor anche 100%), basso rumore (cariche azzerate ad ogni lettura) • Quattro tipi principali: lineare, interline, full frame, frame transfer – matrici monodimensionali (telecamere lineari) – matrici bidimensionali (telecamere matriciali) • • • • Processo di produzione particolare Æ Costoso !! Le cariche nella prima riga vengono trasferite verticalmente al read out register che le manda all’amplificatore e quindi all’ADC. Lettura riga per riga. Shift register Clock Lettura di una riga intera verticali seriali (no windowing) Linea di fotorecettori Alto consumo elettrico Clock paralleli Read out register AMPL 3 a.a. 2006/2007 Sistemi di Elaborazione Analogia tra fotoni e pioggia Per capire il funzionamento di un CCD possiamo ricorrere a questa semplice analogia tra i fotoni e le gocce di pioggia: Alcuni secchi (pixel) sono distribuiti in un campo (piano focale del telescopio) e sono appoggiati su una serie di nastri trasportatori (colonne del CCD) . I secchi raccolgono la pioggia (fotoni) che cade sul campo. I nastri trasportatori inizialmente sono fermi. La pioggia cade e riempie i secchi (esposizione). Finita la pioggia (chiusura dell’otturatore) i nastri trasportatori si muovono e fanno sì che l’acqua sia raccolta in un contenitore graduato (amplificatore) collocato in uno degli angoli del campo (angolo del CCD). Nelle prossime diapositive il funzionamento dei nastri trasportatori viene schematizzato con una animazione: 4 a.a. 2006/2007 Sistemi di Elaborazione PIOGGIA (FOTONI) NASTRI TRASPORTATORI VERTICALI (COLONNE DEI CCD) SECCHI (PIXEL) I secchi raccolgono la pioggia (durante la posa i pixel raccolgono i fotoni) CONTENITORE GRADUATO (AMPLIFICATORE IN USCITA) NASTRO TRASPORTATORE ORIZZONTALE (REGISTRO SERIALE) 5 Sistemi di Elaborazione a.a. 2006/2007 Al termine i secchi contengono una certa quantità di acqua (al termine della posa i pixel contengono una certa quantità di carica) 6 Sistemi di Elaborazione a.a. 2006/2007 I nastri trasportatori entrano in funzione e spostano i secchi. La prima fila di secchi sui nastri verticali viene spostata sul nastro orizzontale. 7 Sistemi di Elaborazione a.a. 2006/2007 I nastri verticali si fermano. Il nastro orizzontale travasa il contenuto del primo secchio nel contenitore graduato. 8 a.a. 2006/2007 Sistemi di Elaborazione Il contenuto di pioggia del primo secchio viene misurato. Il contenitore viene svuotato ed è pronto a ricevere la pioggia contenuta nel secondo secchio. La procedura è ripetuta per tutti i secchi della fila. ` 9 Sistemi di Elaborazione a.a. 2006/2007 10 Sistemi di Elaborazione a.a. 2006/2007 11 Sistemi di Elaborazione a.a. 2006/2007 12 Sistemi di Elaborazione a.a. 2006/2007 13 Sistemi di Elaborazione a.a. 2006/2007 Una nuova fila di secchi viene spostata sul nastro orizzontale e la procedura di misura è ripetura per tutte le file di secchi. 14 Sistemi di Elaborazione a.a. 2006/2007 15 Sistemi di Elaborazione a.a. 2006/2007 16 Sistemi di Elaborazione a.a. 2006/2007 17 Sistemi di Elaborazione a.a. 2006/2007 18 Sistemi di Elaborazione a.a. 2006/2007 19 Sistemi di Elaborazione a.a. 2006/2007 20 Sistemi di Elaborazione a.a. 2006/2007 21 Sistemi di Elaborazione a.a. 2006/2007 22 Sistemi di Elaborazione a.a. 2006/2007 23 Sistemi di Elaborazione a.a. 2006/2007 24 Sistemi di Elaborazione a.a. 2006/2007 25 Sistemi di Elaborazione a.a. 2006/2007 La lettura del CCD è completa quando il contenuto tutti i secchi è stato misurato. 26 a.a. 2006/2007 Sistemi di Elaborazione CCD 27 a.a. 2006/2007 Sistemi di Elaborazione CMOS (Complementary Metal Oxide Semiconductor) • • • • • • Inventato prima del CCD ma poco utilizzato fino a qualche anno fa Stessa tecnologia produttiva dei moderni processori per computer (tipo Pentium IV) Æ maggiore integrabilità (sensori micro, smart camera) e abbassamento costi Amplificazione, ADC e elaborazione all’interno di ogni pixel Maggiore flessibilità di acquisizione (windowing, selezione di area) Sensibile al rumore dovuto alla non uniformità del silicio (ampli con diverse caratteristiche) Æ sono utilizzati circuiti di compesazione basati sulle caratteristiche del singolo chip Fill factor < 100% (spazio per i circuiti) – Utilizzo di microlenti (più che nei CCD) luce aree non sensibili area sensibile • • Basso consumo elettrico (1/100 del CCD) Æ dispositivi portatili (smartphone,PDA,..) Ultimamente CMOS ad alta qualità usati in ambito professionale 28 a.a. 2006/2007 Sistemi di Elaborazione Schemi logici • • • • • • • • CCD: Il chip contiene solo i sensori e la conversione elettrone Æ tensione Voltaggio di polarizzazione maggiore e clock esterno Se l’applicazione cambia, basta modificare l’elettronica esterna senza ridisegnare il sensore CMOS: La maggior parte dell’elettronica è dentro al chip Singolo livello di clock e voltaggio di polarizzazione (bias) Se cambia l’applicazione è necessario riprogettare il sensore 29 a.a. 2006/2007 Sistemi di Elaborazione Dal bianco e nero al colore La cella fotosensibile converte l’intensità di luce, ma non è sensibile alla lunghezza d’onda, un colore per pixel Î Acquisizione monocromatica Soluzione Î Color Filter Array (CFA): • Pattern di Bayer (Bryce Bayer, 1976 - Kodak) • • • • • RGBG - Cella 2x2, 2 pixel verdi, 1 blu, 1 rosso Occhio umano più sensibile al verde Il filtro diminuisce la sensibilità alla luce, diventa 1/3 del monocromatico Varianti: CMY-Y, CMY+G, RGB+E (Sony) più sensibili Ricostruzione full color con interpolazione • Problemi di color aliasing nei punti a forte contrasto 30 a.a. 2006/2007 Sistemi di Elaborazione Demosaicatura • • • Trasformare il pattern di Bayer in un’immagine RGB full color Interpolazione per convoluzione: Nearest neighbor, bilineare, cubica [Sak98],[Ram02]. Bilineare: (a) e (b): R = (R1+R2)/2 B = (B1+B2)/2 (c) e (d): G = (G1+G2+G3+G4)/4 B = (B1+B2+B3+B4)/4 R = (R1+R2+R3+R4)/4 [Sak98] Sakamoto et al., Software Pixel Interpolation for digital still cameras suitable for a 32-bit MCU, IEEE Tran. Consumer Electronics, 1998 [Ram02] Ramanath et al., Demosaicking methods for Bayer color array, Journal of Electronic Imaging, 2002 31 a.a. 2006/2007 Sistemi di Elaborazione • • • L’interpolazione dà un’approssimazione dei colori mancanti L’immagine ha una risoluzione cromatica inferiore Artefatti di aliasing corretti con filtro di blur Æ diminuzione di nitidezza Fovon X3[lyo02] • • • • • Nuova tecnologia introdotta da Foveon © nel 2002 Acquisizione full color, sensore a 3 strati, ogni pixel cattura contemporaneamente i 3 colori Sfrutta l’abilità del silicio ad assorbire differenti lunghezze d’onda di luce a differnti profondità Filtro colore al silicio ha meno variabilità nella risposta al colore rispetto al filtro colore plastico Più costoso delle tecnologie basate su pattern [lyo02] Lyon et al., Eyeing the Camera: Into the Next Century, IT&T/SID Tenth Color Imaging Conference, 2002 32 a.a. 2006/2007 Sistemi di Elaborazione Foveon X3 • • • Incremento di nitidezza in luminosità e crominanza Risoluzione reale No artefatti (aliasing) Pattern Esempio Foveon 33 a.a. 2006/2007 Sistemi di Elaborazione Il prisma dicroico • • • • Un prisma dicroico è in grado di separare la luce in due raggi di diverse lunghezze d’onda (colore). Di solito vengono realizzati combinando prismi di vetro e pellicole ottiche che riflettono o trasmettono selettivamente la luce a seconda della lunghezza d’onda. Quindi alcune superfici del prisma agiscono come filtri dicroici e vengono utilizzati come separatori di raggi luminosi in numerosi strumenti ottici. Una applicazione tipica è quella di dividere in tre componenti la luce all’interno di alcune telecamere (le cosiddette 3 CCD). Un prisma tricroico si ottiene combinando opportunamente due filtri dicroici per separare l’immagine nelle componenti rossa, verde e blu, successivamente ,misurate da tre diversi CCD. 34 a.a. 2006/2007 Sistemi di Elaborazione Il prisma dicroico • • • • Un layout tipico è visibile nello schema. Un raggio luminoso entra nel primo prisma (A) e la componente blu viene riflessa da un rivestimento filtrante passa-alto (F1) che riflette la luce blu, ma trasmette le lunghezze d’onda superiori. Il raggio blu subisce una riflessione interna totale (grazie alla geometria del prisma) ed esce lateralmente. Il resto del raggio entra in un secondo prisma (B) e viene diviso da un secondo rivestimento filtrante (F2) che riflette la luce rossa ma trasmette lunghezze d’onda inferiori. Il piccolo spazio d’aria tra i due prismi consente la riflessione interna totale. 35 a.a. 2006/2007 Sistemi di Elaborazione Schema di telecamera 3 CCD 36 a.a. 2006/2007 Sistemi di Elaborazione Dispositivi di acquisizione • SCANNER • una sorgente di luce interna scandisce una linea del foglio: parte della luce e’ assorbita dall’inchiostro e parte viene riflessa ed acquisita da un sensore CCD lineare 37 a.a. 2006/2007 Sistemi di Elaborazione Immagini di Profondità • • Scanner 3D per l’acquisizione di immagini di profondità depth o range image • puntuali, a matrice 38 a.a. 2006/2007 Sistemi di Elaborazione Telecamere analogiche • • • • Generano un segnale che fornisce informazioni analogiche sull’immagine campionata riga per riga Inizialmente usavano tubi da ripresa, sostituiti poi da sensori a stato solido CCD (senza la circuiteria di conversione digitale!) Necessitano della fase di campionamento e quantizzazione (frame-grabber) Usano formati standard Telecamere digitali • • • • • Generano segnale digitale e si interfacciano al calcolatore mediante opportuni driver Non necessitano di ulteriori passaggi (AD/DA) per il trasferimento su PC preservando la qualità originale Sono molto flessibili per quanto riguarda frequenza e la risoluzione di acquisizione Usano formati proprietari (standardizzazione) Usano i sensori digitali CCD o CMOS 39 a.a. 2006/2007 Sistemi di Elaborazione Standard Televisivi • IMMAGINI PROVENIENTI DA TELECAMERE RISPETTANO SPESSO GLI STANDARD VIDEO • NTSC (USA, Giappone) National Televison Standard Committe • SECAM (Francia, Russia, Europa Est) Sequential Crominance Signal and Memory • PAL (Europa, Italia, D, UK..) Phase Alternating Line (NTSC Never twice same color, SECAM Something Essential Contradictory to the American Method, PAL Peace at last) • • • • telecamere standard sono interallacciate: prima le linee dispari 1,3,5.. Poi le pari 2,4,6… Interallacciamento riduce il flicker. Attenzione per le immagini in movimento. Il numero di righe N e’ in corrispondenza 1 a 1 con lo standard;il n. di colonne M dipende dal campionamento nel frame grabber (M=384,512,768) 40 a.a. 2006/2007 Sistemi di Elaborazione Standard Video NTSC SECAM PAL Immagini/sec 30 (29.97) 25 25 Campi per 60 50 50 33.37 40 40 msec per campo 20 20 20 Linee per 525 625 secondo msec per immagine RS-170 immagine Standard USA video monocromatico 625 CCIR Standard Europeo video monocromatico Aspect ratio 4:3 4:3 4:3 μsec per linea 63.56 64 64 41 a.a. 2006/2007 Sistemi di Elaborazione Standard Video NTSC il colore viene trasmesso come SEGNALE COMPOSITO u(t)= Y(t)+ I(t)cos(2πft+φ)+Q(t)sin(2πft+φ) dove φ=33° , f e’ la frequenza di trasmissione a colori e’ 3.58 Mhz (ossia 455fl/2 dove fl e’ la freq di linea 15.75 kHz) Y componente di luminanza (I,Q) componenti di crominanza SECAM ogni linea e’ composta dalla luminanza Y(t) e da un segnale di crominanza (alternato ad ogni linea) U =(B-Y)/2.03 o V=(R-Y)/1.14 essendo I=V cos (33)-U sin(33), Q =V sin (33)+U cos(33) con frequenze di 4.25 e 4.41 Mhz e poi con una sottoportante per Y PAL segnale composito u(t)= Y(t)+ U(t)cos(2πft)+(-1)m V(t)sin(2πft) dove m e’ il n. della linea; U,V hanno la stessa freq di 1.3Mhz con la portante a 4.43Mhz Segnale composito: e’ il segnale di luminanza e crominanza + segnali di sincronismo Questa suddivisione è stata introdotta (al posto dell’utilizzo delle 3 componenti cromatiche RGB) per la compatibilità verso le vecchie televisioni in bianco e nero. 42 a.a. 2006/2007 Sistemi di Elaborazione Acquisizione segnale video • • • • • • • • Considerando lo standard europeo CCIR monocromatico picture frame freq. 25 Hz raster field freq. 50 Hz frame : 625 linee 625 x 25= 15625 linee/sec line freq. 15.625 Hz T=64 microsec. Acquisizione non continua (come l’audio) Æ campionatura temporale e spaziale Il campione singolo è la linea, campionata a 15.625Hz Introduzione di segnali di sincronismo orizzontali (di linea) e verticali (di campo) Livello di tensione di riferimento BIANCO Linea 0 Linea 2 livello di tensione di riferimento NERO livello di tensione di blanking livello di tensione di sincronismo Sincr. di linea 5+6.5μs 64μs Segnale video da campionare 43 a.a. 2006/2007 Sistemi di Elaborazione Interlacciamento • • • Introdotto nel 1934 per aumentare la fuidità di visione preservando la definizione (in linee) Æ la teconologia di allora non permetteva di aumentare la velocità di acquisizione Framerate invariato Æ introduzione di effetto blur motion Ogni frame è separato in 2 campi – Le righe pari del campo al tempo t, quindi – Le righe dispari del campo al tempo t+Δt • In ricezione i 2 campi vengono uniti per formare il frame – Problemi di deinterlacciamento per immagini in movimento • I segnali di sincronismo discriminano tra tipo di righe ed allineano il frame in modo che non vi siano spostamenti orizzontali o verticali dell’immagine 44 a.a. 2006/2007 Sistemi di Elaborazione Esempio di frame interlacciato Veicolo fermo Veicoli in movimento 45 a.a. 2006/2007 Sistemi di Elaborazione Progressive Scan • • • • • Sistema di acquisizione full resolution, il frame è acquisito interamente con un unica scansione Elevata risoluzione verticale delle immagini Eliminazione degli artefatti dell’interlacciamento Usato nelle telecamere che scattano foto Tecnologia possibile solo negli ultimi decenni Film Camera • • Acquisizione su pellicola a 24 fps progressive scan Conversione in standard PAL/NTSC Æ Telecine – film Æ NTSC: – 24 frames diventano 48 fields e 4 frames diventano 5 frames – Ma NTSC è 29.97fps!! • Sincronizzazione DROP_FRAME time code 46