Nahraďte osobu vo videu a zachovajte pôvodný zvuk

Čo sa v skutočnosti mení pri nahradení postavy?

Výmena celej postavy má za cieľ reinterpretovať viditeľného performera pomocou referenčného obrázka. To môže ovplyvniť tvár, oblečenie, siluetu a ďalšie vizuálne detaily. Je to ambicióznejšie než zmena oblasti tváre, preto nepredpokladajte, že každý pixel pozadia alebo gesto prežije bezo zmeny.

Zvuk sa nemusí zmeniť len preto, že sa zmení obraz. Váš zdroj môže obsahovať reč, hudbu, ruchy okolia alebo ich kombináciu. Zachovanie tejto stopy znamená prenesenie existujúceho zvuku do nového videa; neznamená to rekonštrukciu hlasu alebo to, že nová postava bude hovoriť inak.

Začnite rozhodnutím, čo musí zostať konzistentné. Pri tanečnom klipe môže byť prioritou hudobné načasovanie. Pri mávajúcom maskotovi záleží viac na tvare gesta než na presnom pohybe tváre. Pri dialógu sa načasovanie úst stáva ďalšou kontrolou kvality. Toto rozhodnutie vám pomôže odmietnuť nevhodný zdroj skôr, než miniete kredity.

Pripravte si jeden čistý, krátky zdrojový klip

Použite jeden záber s jedným jasne viditeľným dospelým účinkujúcim. Stabilná kamera, mierny pohyb a oddelenie subjektu od pozadia vám neskôr uľahčia kontrolu detailov. Ak subjekt opakovane prechádza za nábytkom alebo opúšťa záber, začnite jednoduchšou pasážou.

Webové štúdio TryMotion prijíma pripravené video H.264 MP4 v dĺžke od 1 do 10 sekúnd, pri rýchlosti do 30 snímok za sekundu a s maximálnou veľkosťou 25 MB. Pred importovaním ho orežte vo svojom obvyklom editore. K dispozícii nie je žiadny vstavaný nástroj na orezávanie a premenovanie súboru MOV na MP4 nezmení jeho kodek.

Vypočujte si orezaný súbor až do konca. Jeho zvuk by mal začať v zamýšľanom momente, bez zvyškov úvodu z dlhšej nahrávky. Ak váš editor posunul zvuk nezávisle od obrazu, opravte časovú os zdroja hneď teraz. Krok zachovania zvuku nedokáže obnoviť časový vzťah, ktorý bol nesprávny už pri exporte.

Vyberte si referenciu, ktorá sa hodí k záberu

Vaša referencia dodáva vizuálnu identitu postavy, nie neobmedzený popis skrytých detailov. Portrét (headshot) poskytuje málo informácií pre výkon celého tela. Keď zdroj zobrazuje celého účinkujúceho, použite referenciu, ktorá zobrazuje celú postavu s čitateľnými obrysmi.

Prispôsobte pózu a smer pohľadu tak presne, ako je to praktické. Referenčný obrázok smerujúci dopredu spárovaný so zdrojom, ktorý zostáva v profile, vytvára náročnejšiu transformáciu. Jemné nápisy, malé logá, prsty a doplnky sú detaily, ktoré treba kontrolovať, nie detaily, o ktorých sa predpokladá, že ich model verne zreprodukuje.

Uchovajte si kópiu referencie použitej pre každú klapku. Ak neskôr porovnávate dva výstupy, zmena iba zdroja alebo iba referencie vám poskytne užitočnejšie porovnanie, než keby ste zmenili všetko naraz. Na začiatok stačí jednoduchý záznam záberu, referencie a zamýšľaného gesta.

Udržujte zvuk oddelený od generovania obrazu

Spoľahlivý pracovný postup najprv vytvorí obraz výmeny a potom tento obraz spojí so zdrojovou zvukovou stopou. Obraz a zvuk by mali zdieľať rovnaký počiatočný bod. Finálny export musí obsahovať zvukovú stopu, nie iba zobrazovať ikonu zapnutého zvuku v náhľade.

Implementácia TryMotion zahŕňa voliteľnú fázu zlúčenia zvuku, ak importované video obsahuje audio. Štúdio deteguje, či zvuková stopa existuje, a zahrnie toto nastavenie do kalkulácie generovania. Ak je zdroj tichý, zapnutie zachovania zvuku nedokáže vytvoriť chýbajúci zvuk.

Tento workflow využíva krátky zdrojový klip a originálnu referenciu postavy. Predvolene je nastavený P-Video-Replace 720p, pričom pre vyššiu kvalitu je k dispozícii 1080p. Ilustrované scény popisujú workflow a nie sú dôkazom konkrétneho vygenerovaného výsledku.

Pred zdieľaním si prejdite tieto kontroly

Najprv si pozrite výstup pri normálnej rýchlosti, potom skontrolujte náročné momenty. Vizuálne atraktívna prvá snímka môže maskovať odplávajúcu ruku, meniaci sa kostým alebo stratenú tvár v polovici záberu. Skontrolujte celý klip, nespoliehajte sa len na jeho miniatúru.

1. Skontrolujte úvodné a záverečné snímky. Potvrďte, že klip má očakávaný začiatok, koniec, kompozíciu a orientáciu.
2. Vypočujte si to celé na slúchadlách. Overte, či je stopa prítomná, počuteľná a bez neočakávanej druhej zvukovej stopy.
3. Hľadajte viditeľný časový záchytný bod, ako je tlesknutie, dupnutie alebo vyslovená spoluhláska. Porovnajte ho so zdrojom.
4. Skontrolujte ruky, hranice tváre, zakryté časti tela a akékoľvek značky brandu. Uistite sa, že výstup je vhodný pre váš účel.
5. Stiahnite si exportovaný súbor a prehrajte ho v druhom prehrávači. Potvrďte, že uložené video obsahuje zvuk, namiesto toho, aby ste sa spoliehali na náhľad v prehliadači.

Riešenie najčastejších nezrovnalostí

Ak chýba zvuková stopa, najprv skontrolujte, či importovaný zdroj skutočne obsahuje audio stream. Tichý export môže v správcovi súborov vyzerať identicky ako bežné MP4. Ak zvuk lokálne existuje, ale vo výslednom súbore nie, problém patrí do fázy spájania alebo exportu, nie k referencii postavy.

Ak je zvuková stopa konzistentne v predstihu alebo oneskorená, skontrolujte strih zdroja a prvú snímku výstupu. Pevný posun sa dá často opraviť vo video editore, ale nezakrývajte opakujúci sa posun v procese: mal by sa preskúmať pred generovaním dávky. Ak synchronizácia postupne odplúva, skontrolujte, či nebolo zmenené časovanie obrazu alebo jeho trvanie.

Ak hlas znie inak, mohla byť použitá vygenerovaná zvuková stopa namiesto pôvodnej nahrávky. Zachovajte zdrojovú stopu, keď záleží na identite a výkone. Klonovanie hlasu, dabing a syntéza reči by mali byť samostatné, explicitné voľby s náležitými povoleniami; sú mimo tohto MVP.

Ak sa postava pri rýchlom otočení rozpadá, zjednodušte vizuálny problém. Skúste kratší úsek, stabilnejší záber alebo referenciu bližšiu k uhlu zdroja. Opakované spúšťanie rovnakého náročného vstupu nie je spoľahlivou stratégiou na kontrolu nákladov.

Pochopenie kreditov a uchovávania dát

Predvolený P-Video-Replace 720p stojí 10 kreditov za zdroj do 5 sekúnd a 20 do 10 sekúnd. Kvalitnejšia možnosť 1080p stojí 20 resp. 40 kreditov. Server pred vystavením kalkulácie skontroluje dĺžku importovaného videa; pred odoslaním si túto potvrdenú cenu skontrolujte.

Kredity sa rezervujú pri spustení generovania. Potvrdené technické zlyhanie automaticky raz vráti všetky rezervované kredity. Zaseknuté alebo nepotvrdené úlohy majú celkový limit 30 minút. Ukladanie dokončeného výstupu sa opakuje po dobu až 10 minút v rámci tohto celkového limitu. Ak video stále nie je možné doručiť, kredity sa vrátia automaticky pri nasledujúcej kontrole obnovy, zvyčajne do 5 minút, aj keď zavriete stránku. Nevyžaduje sa žiadna žiadosť o podporu. Nepotvrdené odoslania sa kontrolujú bez automatického spustenia druhého plateného generovania. Dokončené video, ktoré sa vám nepáči z hľadiska kreativity, je niečo iné než úloha, ktorá technicky zlyhala.

TryMotion uchováva importované súbory a výstupy súkromne s exspiráciou 7 dní. Stiahnite si výsledok, ktorý si chcete ponechať. Odstránením súboru z TryMotion sa vymaže táto uložená kópia, ale poskytovatelia inferencie si môžu ponechať odoslané vstupy a výstupy podľa vlastných pravidiel. Vyhnite sa nahrávaniu materiálu, na ktorého zdieľanie za účelom spracovania nemáte oprávnenie.

Praktický prvý experiment

Začnite 5-sekundovým mávaním, otočením alebo jednoduchým krokom vykonaným na nepreplnenom pozadí. Použite originálnu referenciu postavy, ponechajte viditeľnú celú jej siluetu a zachovajte krátku zvukovú stopu okolia. Pred generovaním si zapíšte tri kritériá prijateľnosti: gesto zostane rozpoznateľné, postava zostane koherentná a zvuk začne v správnom momente.

Pred pokusom o zložitejší záber skontrolujte výsledok podľa týchto kritérií. To vám poskytne konkrétny spôsob, ako sa rozhodnúť, či tento workflow vyhovuje vášmu projektu. Cieľom prvého testu je zistiť, čo zdroj a referencia dokážu uniesť, a potom tieto informácie použiť na plánovanie ďalšej klapky.