Produrre programmi con studi Virtuali
Sebastian Sylwan
[email protected]
Che cosa è un Virtual Studio ?
Fondamentalmente un “accozzaglia” di apparecchiature ad
altissimo livello tecnologico.
Scenografie virtuali con attori reali.
Nessuno deve accorgersi della finzione
A che cosa serve ?
Ambiente di produzione completamente digitale
Ottimizzare gli spazi e le risorse
Risparmiare sui costi
Riutilizzare le risorse
Ambiente di produzione digitale
Tutti gli elementi sono disponibili in formato digitale
La scenografia sta in un database
Diversi set-up dello studio possono essere progettati e richiamati
Le risorse di calcolo ad alte prestazioni possono essere
centralizzate e condivise
Il design può essere fatto su computer a basso costo
Gli elementi possono essere archiviati e riutilizzati
Avere elementi digitali facilita la post-produzione e il riutilizzo
Ottimizzare spazi e risorse
Nello stesso studio giro innumerevoli programmi
Devo comprare meno camere, regie, monitor, etc.
Tempo per cambiare le scenografie irrilevante
Costruzione di scenografie 3D
molto più semplice ed economico rispetto a quelle reali
molto più veloce
facilità di correggere ed adattere alle esigenze
riusabilità
Che cosa implica ?
Nuove professionalità
Forte integrazione tra mondo video e informatico
Convergenza…
Diversi campi tecnologici
– Rendering fotorealistico in tempo reale
– Sensori elettromeccanici
– Ottica
– Trattamento del segnale video digitale
Nuove Professionalità
Scenografi “Virtuali”
Modellatori 3D
Attori
Assistente alla regia
Direttore tecnico
Sceneggiatori
Registi
Autori
Cameraman
Tecnici di illuminazione
Miglioriamo i modelli di produzione
Espandiamo lo spazio di studio esistente
Ambiente di produzione completamente digitale
Strumenti per il desing vs strumenti per la produzione
Sessione tipica in un Virtual Studio
Espandere lo spazio di studio esistente
incrementare il rendimento
più programmi in un unico studio
cambiamenti veloci
maggiore produttività
le scene sono indipendenti dallo spazio di studio
le informazioni possono essere associate al programma/ripresa
i dati di design e di produzione passano alla post-produzione
Tools for design vs. production
Design: guidato dal costo
modellazione
illuminazione
animazione
Produzione: guidata dalle prestazioni
Composizione di scene
pre-produzione
display real-time dinamico
Typical Design Tools
Texture painting
3D modeling & animation
Production Tools
Scene composition
Pre-production
Production Tools
Production
Come è fatto uno studio virtuale ?
3D modeling - Studio Design
Rendering Real-Time
Camera Tracking
Blue Back / Chroma Keying
Matte Keying
Switching
Optical tracking / measuring
Come è fatto uno studio virtuale ?
Una tipica sessione in studio virtuale
Scegliere la scena
Scegliere lo studio
Caricare le impostazioni dello studio
Caricare la registrazione della scena
Tarare le camere
Registrare
Post-produrre
Integrazione
Mettere insieme apparecchiature di “mondi” diversi
Sincronizzare alla perfezione in tempi strettissimi
Mission-critical RT
Vediamo nel dettaglio…
Modellazione 3D
Blue Back / Keying
Calibrazione
Registrazione
Modellazione 3D
Interna o esterna al pacchetto software...
…ma pensata esplicitamente per uno Studio Virtuale
Ottimizzazione per il rendering Real-time
Vapour deve generare 50/60 immagini / secondo
Devo necessariamente ottimizzare
Dal progetto al modello
Ottimizzazione degli studi 3D
Usare colori invece di materiali ove possibile
Limitare il numero delle luci / usare texture per ottenere effetti di luce
“Spegnere” i lati posteriori degli oggetti se non sono visibili
Ridurre il numero di vertici nelle geometrie
Minimizzare l’uso di oggetti importati (t-mesh) e delle trasparenze
Nascondere/rimpiazzare gli oggetti “video” e i “dummy” quando non vengono usati
Creare texture con degli oggetti di testo fissi
Diminuire la risoluzione del testo con corpo piccolo
”Spegnere” i lati posteriori del testo 3D
Disabilitare lo z-buffer / riorganizzare gli elementi secondo l’ordine di rendering
Pixel fill rate: 10 cubi vengono resi prima di un unico cubo che riempie lo schermo
Far ereditare le proprietà agli oggetti quando possibile
Ottimizzazione del modello
Illuminazione
È importantissimo mantenere una coerenza
nell’illuminazione per evitare artifatti percepiti come
“falsità” della scena.
Prestare attenzione alle dominanti cromatiche dello
studio virtuale e ricrearle (color-correction) nei talent
enegli elementi reali (blue-spill)
Le sorgenti di luce devono provenire dalle stesse
direzioni sia nel modello virtuale che nello studio
reale, per ottenere una coerenza nelle ombre e
nell’illuminazione
Typical Design Tools
Simulazione dell’illuminazione
Calibrazione dello Studio Virtuale
Blue Back
Blue Back: fattori critici
Perché blu ?
Illuminazione uniforme
Distanza dalle pareti
Ombre
Coerenza cromatica
Indumenti
Riflessi
Limbo e illuminazione
Angoli del Limbo
Chroma Keying
Le componenti del Blu vengono eliminate e al loro posto
vengiono inserite le immagini generate dalla WS.
A questo “mascheramento” sul colore si aggiunge una
maschera proveniente dalla WS stessa che decide se
un oggetto sta davanti o dietro il “talent” e lo maschera
di conseguenza (talent-tracking)
“Mappare” il virtuale sul reale
Devo creare un modello virtuale del mio blue-back reale
e posizionarlo (posizione, scala, orientamento) nel mio
studio virtuale
Devo posizionare molto precisamente le telecamere
reali all’interno del set virtuale
Movimento e posizione delle camere
La visione prospettica della scena virtuale cambia con i
movimenti delle camere, quindi questi devono essere
acquisiti con la massima precisione possibile
I dati di movimento, posizione, zoom, pan e tilt delle
camere devono arrivare a tutte le WS che fanno il
rendering nel minor tempo possibile per non introdurre
delay
Devono essere sincronizzati
Vediamo i diversi tipi con Pro e Contro
Camera tracking: meccanico
– Altissima precisione
– Bassi delay
– Calibrazione più critica
– Camera rig
– Crane
– Dolly
– Necessità di taratura ottica precisa
Camera tracking: Pattern recognition
– Libertà di movimento (relativa)
– Basso costo
– Shoulder camera
– Poco preciso / Velocità limitata
– Scatti
– Alti delay
Camera tracking: Elements search
– Device ausiliari (tipicamente a IR)
– Shoulder camera (totale libertà di movimento)
– Poco preciso
– Bassissimi delay (< 1 frame !)
Mettiamo insieme le cose
Rendering in tempo reale
Dipendente dalla posizione e dai movimenti delle
camere reali
Virtual Cameras solo per immagini di sintesi
Unire le immagini
Unire le immagini
Devo ora integrare le immagini di sintesi con quelle
naturali
Le immagini naturali sono girate su sfondo blu
Interfaccia
Risultato
Schema Generale
Un idea delle dimensioni
Produzione vs. Post-produzione
I dati provenienti dalle telecamere possono essere
utilizzati “on the fly” oppure registrati per utilizzarli in
post-produzione
External Control - Producer
Tutta l’interazione con lo studio virtuale compreso lo
switching tra le telecamere (Program e Preview) viene
fatto attraverso un PC
Questo permette di integrare grafici e dati dal mondo
esterno con estrema facilità
Ho anche un notevole controllo e possibilità di
automazione (scripting)
External Control
On air graphics
On air graphics
Caratteristiche Principali
resolution-independent rendering up to HDTV 1920x1080p as
shown on NAB
full external control, producer 1.5x is really nice as it's able to read
in, display and use frost's scene tree
texture load in background w/o affecting fg performance
two separate renderers with switch/crossfade/fade to black
Caratteristiche Principali
overlays, ie you can have a background scene and an overlay eg
for a lower 3rd, this will always stay in place regardless of what
you do with the camera
support for new thoma walkfinder interface w/ autocalibration and
shoulder camera, enhanced protocol for super-fast data
transmission (delay < 1 frame NTSC)
motion path feature
fully integrated synchronous switching solution
soon to come: triple renderer w/overlays, fast high quality 2d text,
enhanced virtual camera features, tight 3DS MAX integration,
Camera 1
Camera 2
Backstage
Installazione
Installazione
Riferimenti (3D):
http:// www.gdmag.com Game developer magazine, real-time tips and tricks
http:// www.gamasutra.com Game related Real-time tips and tricks, lots of info.
http:// www.kinetix.com
3D Studio Max
http:// www.charm.net/learning.html Links to Unix, internet….
http:// www.3dcafe.com An excellent starting location! Links, free textures and objects
http:// avalon.viewpoint.com Free model archive for all formats (hosted by Viewpoint)
http:// www.acuris.com Models
http:// www.meshmart.org VRML models
http:// www.3name3d.com Models
http:// www.3d-design.com Based on the magazine, a lot of tillable free textures!
Riferimenti:
http://www.ultimatte.com
http:/www.discreet.com
http://www.thoma.com
Designing 3D Graphics
How to Create Real-Time 3D Models for Games and Virtual Reality
Includes CD-ROM Josh White 383 Pages ISBN 0-471-149268
www.vectorg.com/book/index.html
Grazie dell’attenzione
Per qualsiasi domanda:
[email protected]
Tra qualche giorno troverete queste slide qui:
http://www.media.dsi.unimi.it/~seba/