Ersätt en person i en video och behåll originalljudet

Vad ändras egentligen vid ett karaktärsbyte?

Ett fullständigt karaktärsbyte syftar till att omtolka den synliga artisten med hjälp av en referensbild. Det kan påverka ansiktet, kläderna, siluetten och andra visuella detaljer. Det är mer ambitiöst än att ändra ett ansiktsområde, så utgå inte från att varje bakgrundspixel eller gest kommer att överleva oförändrad.

Ljudet behöver inte ändras bara för att bilden ändras. Din källa kan innehålla tal, musik, rumsljud eller en kombination av dem. Att bevara det spåret innebär att föra över dess befintliga ljud till den nya videon; det innebär inte att rekonstruera rösten eller få den nya karaktären att tala annorlunda.

Börja med att bestämma vad som måste förbli konsekvent. För ett dansklipp kan musikalisk timing vara prioriterat. För en maskot som vinkar spelar gestens form större roll än exakta ansiktsrörelser. För dialog blir munnens timing en extra kvalitetskontroll. Detta beslut hjälper dig att avvisa en olämplig källa innan du spenderar credits.

Förbered ett rent, kort källklipp

Använd en enskild tagning med en tydligt synlig vuxen aktör. En stadig kamera, måttlig rörelse och separation mellan motivet och bakgrunden ger dig färre detaljer att inspektera senare. Om motivet upprepade gånger passerar bakom möbler eller lämnar bilden, börja med ett enklare avsnitt.

TryMotion web studio accepterar en förberedd H.264 MP4 mellan 1 och 10 sekunder, i upp till 30 bilder per sekund, med en maximal uppladdningsstorlek på 25 MB. Trimma den i din vanliga redigerare innan du importerar. Det finns inget inbyggt trimningsverktyg, och att döpa om en MOV-fil till MP4 konverterar inte dess codec.

Lyssna igenom hela den trimmade filen. Ljudet ska börja vid det avsedda ögonblicket, utan kvarvarande förspel från en längre inspelning. Om din redigerare har flyttat ljudet oberoende av bilden, fixa källtidslinjen nu. Ett steg för bevarande av ljud kan inte återställa en tidsrelation som redan var felaktig vid exporten.

Välj en referens som passar tagningen

Din referens tillhandahåller karaktärens synliga identitet, inte en obegränsad beskrivning av dolda detaljer. En närbild på ansiktet ger lite vägledning för en prestation i helfigur. När källan visar hela aktören, använd en referens som visar hela karaktären med en läsbar silhuett.

Matcha posen och blickriktningen så nära som det är praktiskt möjligt. En framåtvänd referens parad med en källa som förblir i profil skapar en svårare transformation. Fin text, små logotyper, fingrar och accessoarer är detaljer att inspektera, inte detaljer man kan utgå från att modellen återger troget.

Spara en kopia av referensen som användes för varje tagning. Om du senare jämför två resultat ger det en mer användbar jämförelse att ändra endast källan eller endast referensen, istället för att ändra allt på en gång. En enkel anteckning om tagningen, referensen och den avsedda gesten räcker för att börja.

Håll ljudet separat från den visuella genereringen

Ett tillförlitligt arbetsflöde producerar utbytesbilden först och kombinerar sedan den bilden med källans ljudspår. Bild och ljud bör dela samma startpunkt. Den slutliga exporten måste innehålla ett ljudspår, snarare än att bara visa en aktiverad ljudikon i en förhandsvisning.

TryMotions implementering inkluderar ett valfritt steg för sammanfogning av ljud när den uppladdade videon innehåller ljud. Studion känner av om ett ljudspår finns och inkluderar inställningen i prisuppgiften för genereringen. Om källan är tyst kan aktivering av bevarande inte skapa ljud som saknas.

Detta arbetsflöde använder ett kort källklipp och en original karaktärsreferens. P-Video-Replace 720p är standardvalet, med 1080p tillgängligt för högre kvalitet. Illustrerade scener beskriver arbetsflödet och är inte bevis på ett specifikt genererat resultat.

Granska dessa kontroller innan du delar

Titta på resultatet i normal hastighet först, inspektera sedan de svåra ögonblicken. En visuellt tilltalande första ruta kan dölja en glidande hand, en föränderlig dräkt eller ett förlorat ansikte halvvägs genom tagningen. Granska hela klippet istället för att lita på dess miniatyrbild.

1. Kontrollera start- och slutrutorna. Bekräfta att klippet har förväntad början, slut, inramning och orientering.
2. Lyssna igenom med hörlurar. Kontrollera att spåret finns, är hörbart och fritt från ett oväntat andra ljudspår.
3. Leta efter en synlig tidssignal, som en klappning, ett fotsteg eller en uttalad konsonant. Jämför den med källan.
4. Inspektera händer, ansiktsgränser, dolda kroppsdelar och eventuella varumärken. Se till att resultatet är lämpligt för ditt ändamål.
5. Importera och spela upp den exporterade filen i en annan spelare. Bekräfta att den sparade videon innehåller ljudet, snarare än att lita på en förhandsvisning i webbläsaren.

Felsök de vanligaste avvikelserna

Om ljudspåret saknas, kontrollera först om den uppladdade källan faktiskt har en ljudström. En tyst export kan se identisk ut med en vanlig MP4 i en filhanterare. Om ljudet finns lokalt men inte i den slutgiltiga filen ligger problemet i sammanfognings- eller exportstadiet snarare än i karaktärsreferensen.

Om ljudspåret konsekvent är tidigt eller sent, inspektera källredigeringen och utmatningens första ruta. En fast förskjutning kan ofta korrigeras i en videoredigerare, men dölj inte en återkommande pipeline-förskjutning: den bör undersökas innan en batch genereras. Om synkroniseringen glider gradvis, kontrollera om bilden har tidskorrigerats eller om dess längd har ändrats.

Om rösten låter annorlunda kan ett genererat ljudspår ha använts istället för originalinspelningen. Bevara källspåret när identitet och prestation är viktiga. Röstkloning, dubbning och talsyntes bör vara separata, explicita val med rätt tillstånd; de ligger utanför denna MVP.

Om karaktären faller isär under en snabb vändning, förenkla bildproblemet. Testa ett kortare avsnitt, en stadigare tagning eller en referens närmare källans vinkel. Att upprepat köra samma svåra indata är inte en pålitlig strategi för att kontrollera kostnader.

Förstå credits och lagring

Som standard kostar P-Video-Replace 720p 10 credits för en källfil upp till 5 sekunder och 20 för upp till 10 sekunder. Alternativet 1080p med högre kvalitet kostar 20 respektive 40 credits. Servern kontrollerar den uppladdade videons längd innan en prisuppgift ges; granska det bekräftade priset innan du skickar in.

Credits reserveras när en generering startar. Ett bekräftat tekniskt fel återbetalar automatiskt de fullständiga reserverade krediterna en gång. Jobb som fastnat eller är obekräftade har en total tidsgräns på 30 minuter. Försök att spara ett slutfört resultat görs i upp till 10 minuter, inom den totala tidsgränsen. Om videon fortfarande inte kan levereras, återbetalas krediter automatiskt vid nästa återställningskontroll, normalt inom 5 minuter, även om du stänger sidan. Ingen supportbegäran krävs. Obekräftade inskickningar kontrolleras utan att automatiskt skicka in en andra betald generering. En färdig video som du ogillar kreativt är annorlunda än ett jobb som misslyckats tekniskt.

TryMotion lagrar uppladdningar och resultat privat med en giltighetstid på 7 dagar. Ladda ner det resultat du vill behålla. Om du tar bort en TryMotion-fil raderas den lagrade kopian, men leverantörer av inferens kan behålla inskickat material och resultat enligt sina egna policyer. Undvik att ladda upp material som du inte har tillåtelse att dela för bearbetning.

Ett praktiskt första experiment

Börja med en 5 sekunder lång vinkning, vändning eller ett enkelt steg utfört mot en ren bakgrund. Använd en originell karaktärsreferens, håll hela dess siluett synlig och bevara ett kort bakgrundsljud. Skriv ner tre acceptanskriterier innan du genererar: gesten förblir igenkännbar, karaktären förblir sammanhängande och ljudet börjar vid rätt tidpunkt.

Granska resultatet mot dessa kriterier innan du provar en mer komplicerad tagning. Detta ger dig ett konkret sätt att avgöra om arbetsflödet passar ditt projekt. Målet med ett första test är att lära sig vad källan och referensen kan stödja, och sedan använda den informationen för att planera nästa tagning.