USD for VFX

USD for VFX raccoglie in una cartella la mesh ricostruita, le camere calibrate e i plate, cioè le immagini con la distorsione della lente corretta da usare nel compositing. Se il progetto parte da un video e hai calcolato il camera track, trovi anche la camera animata e tutti i fotogrammi a piena risoluzione. Per preparare il track, segui Import video e camera tracking.

Free e Lite includono due camere fotografiche scelte per la parallasse; Pro le include tutte. Quando è presente un track video salvato, il bundle contiene anche la camera animata e i plate video. L'importer Blender e le correzioni alla scala descritte qui sono disponibili nella v1.4.1.

Esportare il bundle

1. Apri il progetto ricostruito. Se parti da un video, calcola e controlla prima Camera track.
2. Applica le misure Refine che ti servono. L'export mantiene le trasformazioni che vedi nel viewer, comprese quelle dei gizmo, e le applica insieme a mesh e camere.
3. Apri Export, scegli USD for VFX e seleziona la cartella di destinazione.
4. Attendi la generazione dei plate e conserva tutti i file del bundle nella stessa cartella.

Per mantenere la calibrazione delle camere, la scala deve essere uniforme e valida. Replica rifiuta scale diverse sui tre assi o trasformazioni specchiate. Quando importi il bundle in un altro programma, la scala è già applicata.

Cosa trovi nella cartella

<progetto>_VFX/
├── model.usda            scena Z-up con mesh e camere calibrate
├── mesh.usdz             geometria ricostruita
├── images/               plate fotografici rettificati
├── import_in_blender.py  importa e configura la scena in Blender
├── fix_in_blender.py     configura una scena importata a mano
├── README.txt            calibrazione, convenzioni e diagnostica
├── plate/                JPEG video a piena risoluzione, se esiste un track
├── plate_preview.mov     anteprima video ProRes 422 Proxy, se esiste un track
└── video_track.json      tempi, pose, calibrazione e gap del video

L'anteprima ProRes arriva a 1920 px sul lato lungo e segue gli stessi tempi dei JPEG. Serve a riprodurre il video più facilmente nel viewport; il render usa le immagini a piena risoluzione. Senza un track video salvato, il bundle contiene le sole camere statiche.

Aprire il bundle in Blender

Passa al workspace Scripting, apri import_in_blender.py nel Text Editor ed eseguilo. Lo script importa model.usda e imposta calibrazione, unità metriche e risoluzione di render. Se nella scena corrente ci sono altri oggetti, crea una nuova scena e lascia intatta quella su cui stavi lavorando.

Per i progetti video seleziona anche la camera animata, imposta la timeline e carica l'anteprima come sfondo della camera. Entra nella vista camera e riproduci il video, oppure scorri i frame. Se vuoi vedere nel viewport i JPEG a piena risoluzione di plate/, imposta USE_VIDEO_PREVIEW = False nello script.

Puoi anche importare model.usda a mano e poi eseguire fix_in_blender.py. I bundle attuali usano già Z come asse verticale: non serve la rotazione da Y-up a Z-up richiesta dalle vecchie versioni. Conserva la cartella anche dopo aver salvato il .blend, perché immagini e animazione possono dipendere dai suoi file.

Preparare il compositing

Per il video, lo script crea un compositor modificabile che unisce i JPEG a piena risoluzione al render Cycles trasparente con Alpha Over. Imposta la mesh di riferimento come shadow catcher, per raccogliere le ombre degli oggetti che aggiungi. Inserisci i tuoi asset e le luci, poi controlla il risultato attraverso la camera esportata.

Puoi abbassare la percentuale di risoluzione per fare un render di prova: il plate si adatta alle nuove dimensioni e resta allineato al CG. Se trova un compositor estraneo al bundle, lo script lo conserva e mostra un avviso. Le opzioni SETUP_COMPOSITOR e SETUP_SHADOW_CATCHER permettono di disabilitare i rispettivi passaggi.

Illuminazione, HDRI e materiali vanno preparati da te. Lo script non aggiunge la distorsione della lente al composito finale. I JPEG partono con il display transform Standard; se lavori in log, EXR o ACES, configura la gestione del colore per quella pipeline.

Coordinate, calibrazione e timeline

La scena USD usa Z come asse verticale e dichiara il metro come unità. Replica converte la ricostruzione Y-up e applica una sola volta le trasformazioni a mesh e camere. Le camere conservano focali e dimensioni delle immagini, oltre al principal point (cx e cy), necessario per far combaciare la proiezione con il plate.

La sequenza esportata comincia dal frame 1 a 30 fps. Replica associa ogni posa al timestamp del fotogramma effettivamente decodificato, anche se il video originale ha un frame rate variabile. video_track.json conserva i tempi della sorgente e le pose nello spazio Y-up della ricostruzione; reconstructionToWorldMatrix le converte nello spazio Z-up in metri.

Nei gap senza tracking affidabile, l'export mantiene l'ultima posa valida e segnala il tratto con marker nella timeline Blender. Controlla quei frame e taglia o correggi il tratto prima del render finale: la camera ferma in un gap non rappresenta un movimento risolto.

Replica corregge la lente di tutto il video usando la calibrazione di un frame allineato. Durante la ripresa mantieni quindi stabili obiettivo, zoom e messa a fuoco. Se manca la calibrazione o le dimensioni dei frame non corrispondono, l'export si interrompe.

Riesportare e gestire lo spazio

Replica prepara il nuovo bundle in una cartella temporanea e sostituisce quello precedente solo quando ha finito. Se annulli l'export, una scrittura fallisce o termina lo spazio su disco, il bundle precedente rimane intatto. I file personali alla radice, come un .blend, vengono conservati; script e plate generati vengono sostituiti.

I fotogrammi a piena risoluzione possono occupare molto spazio. Replica controlla quello disponibile durante l'export. Tieni asset e modifiche personali fuori dalle cartelle images/ e plate/, perché sono output che Replica rigenera.

Risoluzione dei problemi

Il bundle contiene solo camere statiche

Calcola il camera track in Replica e poi ripeti l'export. La ricostruzione del video, da sola, non produce la camera animata.

Lo script non trova la cartella del bundle

Apri lo script dalla cartella esportata e verifica che i file USD siano ancora presenti. Se serve, indica il percorso assoluto della cartella in BUNDLE_DIR. Dopo aver sostituito lo script su disco, ricaricalo nel Text Editor di Blender.

Modello e camere risultano ruotati due volte

Importa il bundle attuale in una scena nuova con lo script incluso. Se nel tuo workflow c'è ancora una rotazione manuale da Y-up a Z-up, rimuovila.

Il video e il modello non combaciano

Controlla calibrazione, stabilità dell'ottica, intrinseche della camera e marker dei gap. Nel README trovi eventuali avvisi sulle foto copiate senza dati di distorsione. Verifica anche il video sul modello in Replica prima di esportare.

Sono presenti solo due camere fotografiche

È il limite dell'anteprima Free/Lite. Pro esporta tutte le camere fotografiche ricostruite.

Guide collegate

• Import video e camera tracking
• AprilTag Scale Bar: scala metrica e raddrizzamento con barra a L in Pro.
• Export COLMAP: camere fotografiche e immagini rettificate per altri strumenti di ricostruzione.