Nahraďte osobu ve videu a zachovejte původní zvuk

Co se vlastně při nahrazení postavy mění?

Nahrazení celé postavy má za cíl reinterpretovat viditelného performera pomocí referenčního obrázku. To může ovlivnit obličej, oblečení, siluetu a další vizuální detaily. Je to ambicióznější než změna oblasti obličeje, proto nepředpokládejte, že každý pixel pozadí nebo gesto zůstane beze změny.

Zvuk se nemusí měnit jen proto, že se mění obraz. Váš zdroj může obsahovat řeč, hudbu, ruchy okolí nebo jejich kombinaci. Zachování této stopy znamená přenesení stávajícího zvuku do nového videa; neznamená to rekonstrukci hlasu nebo to, že nová postava bude mluvit jinak.

Začněte tím, že se rozhodnete, co musí zůstat zachováno. U tanečního klipu může být prioritou hudební načasování. U mávajícího maskota záleží více na tvaru gesta než na přesném pohybu obličeje. U dialogu se načasování úst stává další kontrolou kvality. Toto rozhodnutí vám pomůže odmítnout nevhodný zdroj dříve, než utratíte kredity.

Připravte si jeden čistý, krátký zdrojový klip

Použijte jeden záběr s jedním jasně viditelným dospělým účinkujícím. Stabilní kamera, mírný pohyb a oddělení objektu od pozadí vám ušetří práci při pozdější kontrole detailů. Pokud objekt opakovaně prochází za nábytkem nebo opouští záběr, začněte s jednodušší pasáží.

Webové studio TryMotion přijímá připravený soubor H.264 MP4 v délce 1 až 10 sekund, s frekvencí až 30 snímků za sekundu a maximální velikostí nahrávaného souboru 25 MB. Před nahráním jej ořízněte ve svém obvyklém editoru. K dispozici není žádný vestavěný nástroj pro ořezávání a přejmenování souboru MOV na MP4 nezmění jeho kodek.

Poslechněte si oříznutý soubor až do konce. Jeho zvuk by měl začínat v zamýšleném okamžiku, bez zbytků úvodu z delší nahrávky. Pokud váš editor posunul zvuk nezávisle na obrazu, opravte zdrojovou časovou osu nyní. Krok zachování zvuku nemůže obnovit časovou vazbu, která byla špatná již při exportu.

Vyberte referenci, která se hodí pro daný záběr

Vaše reference poskytuje viditelnou identitu postavy, nikoli neomezený popis skrytých detailů. Portrét hlavy poskytuje jen málo informací pro pohyb celého těla. Pokud zdroj zobrazuje celého účinkujícího, použijte referenci, která zobrazuje celou postavu s čitelnými obrysy.

Přizpůsobte pózu a směr pohledu tak přesně, jak je to jen praktické. Reference hledící dopředu spárovaná se zdrojem, který zůstává v profilu, vytváří obtížnější transformaci. Drobné písmo, malá loga, prsty a doplňky jsou detaily, které je třeba kontrolovat, nikoli detaily, u nichž lze předpokládat, že je model věrně reprodukuje.

Uchovávejte si kopii reference použité pro každý záběr. Pokud později porovnáváte dva výstupy, změna pouze zdroje nebo pouze reference vám poskytne užitečnější srovnání, než když změníte vše najednou. K začátku stačí jednoduchý záznam záběru, reference a zamýšleného gesta.

Udržujte zvuk oddělený od generování obrazu

Spolehlivý pracovní postup nejprve vytvoří vyměněný obraz a poté tento obraz zkombinuje se zdrojovou zvukovou stopou. Obraz a zvuk by měly mít stejný počáteční bod. Finální export musí obsahovat zvukovou stopu, nikoli pouze zobrazovat aktivovanou ikonu zvuku v náhledu.

Implementace TryMotion zahrnuje volitelnou fázi sloučení zvuku, pokud nahrané video obsahuje zvuk. Studio detekuje, zda zvuková stopa existuje, a zahrne nastavení do kalkulace generování. Pokud je zdroj tichý, zapnutí zachování zvuku chybějící zvuk nevytvoří.

Tento pracovní postup využívá krátký zdrojový klip a originální referenci postavy. Výchozím nastavením je P-Video-Replace 720p, pro vyšší kvalitu je k dispozici 1080p. Ilustrované scény popisují pracovní postup a nejsou důkazem konkrétního generovaného výsledku.

Před sdílením zkontrolujte tyto body

Nejprve se podívejte na výstup v normální rychlosti, poté zkontrolujte obtížné momenty. Vizuálně atraktivní první snímek může maskovat ujíždějící ruku, měnící se kostým nebo ztracený obličej v polovině záběru. Prohlédněte si celý klip, nespoléhejte pouze na jeho náhled.

1. Zkontrolujte úvodní a závěrečné snímky. Potvrďte, že klip má očekávaný začátek, konec, kompozici a orientaci.
2. Poslechněte si výsledek na sluchátkách. Ověřte, že je stopa přítomna, je slyšitelná a neobsahuje nečekanou druhou zvukovou stopu.
3. Hledejte viditelný časový záchytný bod, jako je tlesknutí, dupnutí nebo vyslovená souhláska. Porovnejte jej se zdrojem.
4. Zkontrolujte ruce, okraje obličeje, zakryté části těla a jakékoli značky značek. Ujistěte se, že je výstup vhodný pro váš účel.
5. Stáhněte si exportovaný soubor a přehrajte jej v jiném přehrávači. Potvrďte, že uložené video obsahuje zvuk, a nespoléhejte pouze na náhled v prohlížeči.

Řešení nejčastějších neshod

Pokud chybí zvuková stopa, nejprve zkontrolujte, zda nahraný zdroj skutečně obsahuje zvukový stream. Tichý export může v prohlížeči souborů vypadat identicky jako běžné MP4. Pokud zvuk lokálně existuje, ale v konečném souboru chybí, problém spočívá ve fázi sloučení nebo exportu, nikoli v referenci postavy.

Pokud je zvuková stopa trvale posunutá dopředu nebo dozadu, zkontrolujte střih zdroje a první snímek výstupu. Pevný posun lze často opravit v editoru videa, ale nezakrývejte opakující se posun v procesu: ten by měl být prošetřen před hromadným generováním. Pokud synchronizace postupně driftuje, zkontrolujte, zda u obrazu nedošlo ke změně rychlosti nebo délky trvání.

Pokud hlas zní jinak, mohla být místo původní nahrávky použita generovaná zvuková stopa. Pokud záleží na identitě a výkonu, zachovejte zdrojovou stopu. Klonování hlasu, dabing a syntéza řeči by měly být samostatné, výslovné volby s příslušnými oprávněními; v rámci tohoto MVP nejsou k dispozici.

Pokud se postava během rychlého otočení deformuje, zjednodušte vizuální problém. Zkuste kratší úsek, stabilnější záběr nebo referenci blíže k úhlu zdroje. Opakované spouštění stejného problematického vstupu není spolehlivou strategií pro kontrolu nákladů.

Porozumění kreditům a uchovávání dat

Výchozí P-Video-Replace 720p stojí 10 kreditů za zdroj v délce do 5 sekund a 20 za zdroj do 10 sekund. Kvalitnější varianta 1080p stojí 20, respektive 40 kreditů. Před vystavením kalkulace server zkontroluje délku nahraného videa; před odesláním si tuto potvrzenou cenu zkontrolujte.

Kredity jsou rezervovány při spuštění generování. Potvrzené technické selhání automaticky jednorázově vrátí plný počet rezervovaných kreditů. Zaseknuté nebo nepotvrzené úlohy mají celkový limit 30 minut. Ukládání dokončeného výstupu se opakuje po dobu až 10 minut v rámci tohoto celkového limitu. Pokud video přesto nelze doručit, kredity se vrátí automaticky při další kontrole obnovy, obvykle do 5 minut, a to i v případě, že stránku zavřete. Žádost o podporu není vyžadována. Nepotvrzené žádosti jsou kontrolovány bez automatického odeslání druhého placeného generování. Dokončené video, které se vám nelíbí po kreativní stránce, se liší od úlohy, která technicky selhala.

TryMotion ukládá nahrané soubory a výstupy soukromě s expirací 7 dní. Výsledek, který si chcete ponechat, si stáhněte. Smazáním souboru z TryMotion se odstraní uložená kopie, ale poskytovatelé inference si mohou ponechat odeslané vstupy a výstupy podle vlastních zásad. Vyhněte se nahrávání materiálů, které nejste oprávněni sdílet ke zpracování.

Praktický první experiment

Začněte pětisekundovým mávnutím, otočkou nebo jednoduchým krokem provedeným na přehledném pozadí. Použijte originální referenci postavy, ponechte viditelnou celou její siluetu a zachovejte krátkou zvukovou stopu okolí. Před generováním si zapište tři kritéria pro přijetí: gesto zůstane rozpoznatelné, postava zůstane koherentní a zvuk začne ve správný okamžik.

Než zkusíte složitější záběr, zhodnoťte výsledek podle těchto kritérií. Získáte tak konkrétní způsob, jak se rozhodnout, zda pracovní postup vyhovuje vašemu projektu. Cílem prvního testu je zjistit, co zdroj a reference umožňují, a poté tyto informace využít k naplánování dalšího záběru.