Erstat en person i en video og behold den originale lyd

Hvad ændrer sig egentlig ved en karakterudskiftning?

Udskiftning af hele karakteren sigter mod at nyfortolke den synlige person ved hjælp af et referencebillede. Det kan påvirke ansigtet, tøjet, silhuetten og andre visuelle detaljer. Det er mere ambitiøst end at ændre et ansigtsområde, så forvent ikke, at hver baggrundspixel eller gestus vil overleve uændret.

Lyden behøver ikke at ændre sig, bare fordi billedet gør det. Din kilde kan indeholde tale, musik, baggrundsstøj eller en kombination heraf. At bevare det spor betyder at føre den eksisterende lyd med over i den nye video; det betyder ikke at rekonstruere stemmen eller få den nye karakter til at tale anderledes.

Start med at beslutte, hvad der skal forblive konsistent. For et danseklip kan musikalsk timing være prioriteten. For en maskot, der vinker, betyder gestikkens form mere end præcise ansigtsbevægelser. For dialog bliver mundens timing et ekstra kvalitetstjek. Denne beslutning hjælper dig med at afvise en uegnet kilde, før du bruger credits.

Forbered ét rent, kort kildeklip

Brug en enkelt optagelse med én tydeligt synlig voksen person. Et stabilt kamera, moderate bevægelser og adskillelse mellem motivet og baggrunden giver dig færre detaljer at inspicere senere. Hvis motivet gentagne gange går bag om møbler eller forlader billedet, så start med en lettere passage.

TryMotion webstudiet accepterer en forberedt H.264 MP4 på mellem 1 og 10 sekunder, ved op til 30 billeder i sekundet, med en maksimal filstørrelse på 25 MB. Trim den i dit sædvanlige redigeringsprogram før importering. Der er intet indbygget trimmeværktøj, og omdøbning af en MOV-fil til MP4 vil ikke konvertere dens codec.

Lyt til den trimmede fil hele vejen igennem. Lyden skal starte på det tilsigtede tidspunkt, uden rester fra en længere optagelse. Hvis dit redigeringsprogram har flyttet lyden uafhængigt af billedet, så fix kildens tidslinje nu. Et trin til bevarelse af lyd kan ikke genoprette et tidsforhold, der allerede var forkert i eksporten.

Vælg en reference, der passer til optagelsen

Din reference leverer karakterens synlige identitet, ikke en ubegrænset beskrivelse af skjulte detaljer. Et headshot giver kun lidt vejledning til en optagelse i fuld figur. Når kilden viser hele personen, skal du bruge en reference, der viser hele karakteren med en læsbar silhuet.

Match posituren og synsvinklen så tæt som praktisk muligt. En frontvendt reference parret med en kilde, der forbliver i profil, skaber en sværere transformation. Fine bogstaver, små logoer, fingre og tilbehør er detaljer, der skal inspiceres, ikke detaljer man skal antage, at modellen vil gengive fejlfrit.

Behold en kopi af den reference, der blev brugt til hver optagelse. Hvis du senere sammenligner to outputs, giver det en mere nyttig sammenligning at ændre kun kilden eller kun referencen, fremfor at ændre alt på én gang. En simpel registrering af optagelsen, referencen og den tilsigtede gestik er nok til at begynde.

Hold lyd adskilt fra visuel generering

Et pålideligt workflow producerer først det nye billede og kombinerer derefter dette billede med kildens lydspor. Billede og lyd skal have samme udgangspunkt. Den endelige eksport skal indeholde et lydspor, snarere end blot at vise et aktiveret lydikon i en forhåndsvisning.

TryMotions implementering inkluderer et valgfrit lydsammenføjningstrin, når den importerede video indeholder lyd. Studiet registrerer, om der findes et lydspor, og inkluderer indstillingen i prisoverslaget for genereringen. Hvis kilden er lydløs, kan aktivering af bevarelse ikke skabe manglende lyd.

Dette workflow bruger et kort kildeklip og en original karakterreference. P-Video-Replace 720p er standarden, med 1080p tilgængelig for højere kvalitet. Illustrerede scener beskriver workflowet og er ikke bevis for et bestemt genereret resultat.

Gennemse disse tjekpunkter før deling

Se outputtet ved normal hastighed først, og inspicér derefter de svære øjeblikke. Et visuelt flot første billede kan skjule en hånd, der skrider, et kostume der ændrer sig, eller et ansigt der mistes halvvejs gennem optagelsen. Gennemse hele klippet fremfor at stole på dets thumbnail.

1. Tjek start- og slutbillederne. Bekræft, at klippet har den forventede start, slutning, indramning og orientering.
2. Lyt igennem med hovedtelefoner. Verificer, at sporet er til stede, hørbart og frit for et uventet ekstra lydspor.
3. Kig efter et synligt timing-signal, såsom et klap, fodtrin eller en talt konsonant. Sammenlign det med kilden.
4. Inspicér hænder, ansigtsgrænser, skjulte kropsdele og eventuelle varemærker. Sørg for, at outputtet er egnet til dit formål.
5. Download og afspil den eksporterede fil i en anden afspiller. Bekræft, at den gemte video inkluderer lyden, fremfor at stole på en forhåndsvisning i browseren.

Fejlfind de mest almindelige uoverensstemmelser

Hvis lydsporet mangler, skal du først tjekke, om den importerede kilde faktisk har en lydstrøm. En lydløs eksport kan se identisk ud med en normal MP4 i en filbrowser. Hvis lyden findes lokalt, men ikke i den endelige fil, ligger problemet i sammenføjnings- eller eksportfasen snarere end hos karakterreferencen.

Hvis lydsporet konsekvent er for tidligt eller for sent, skal du inspicere kildens redigering og outputtets første billede. En fast forskydning kan ofte korrigeres i et videoredigeringsprogram, men skjul ikke en tilbagevendende pipeline-forskydning: den bør undersøges, før der genereres en batch. Hvis synkroniseringen skrider gradvist, skal du tjekke, om billedet er blevet retimet, eller om dets varighed er ændret.

Hvis stemmen lyder anderledes, kan der være brugt et genereret lydspor i stedet for den originale optagelse. Bevar kildesporet, når identitet og præstation betyder noget. Stemmekloning, dubbing og talesyntese bør være separate, eksplicitte valg med de rette tilladelser; de ligger uden for denne MVP.

Hvis karakteren falder fra hinanden under en hurtig vending, så forenkl billedproblemet. Prøv en kortere sektion, en mere stabil optagelse eller en reference tættere på kildens vinkel. At køre det samme svære input gentagne gange er ikke en pålidelig strategi til at kontrollere omkostningerne.

Forstå credits og opbevaring

Standard P-Video-Replace 720p koster 10 credits for en kilde på op til 5 sekunder og 20 for op til 10 sekunder. Den højere kvalitet 1080p koster henholdsvis 20 og 40 credits. Serveren tjekker den importerede videos varighed, før den giver et prisoverslag; gennemse den bekræftede pris før indsendelse.

Credits reserveres, når en generering starter. En bekræftet teknisk fejl tilbagefører automatisk de fulde reserverede credits én gang. Fastlåste eller ubekræftede opgaver har en samlet tidsgrænse på 30 minutter. Lagring af et færdigt output forsøges igen i op til 10 minutter inden for denne samlede grænse. Hvis videoen stadig ikke kan leveres, returneres credits automatisk ved næste gendannelsestjek, normalt inden for 5 minutter, selvom du lukker siden. Ingen supportanmodning er nødvendig. Ubekræftede indsendelser tjekkes uden automatisk at indsende en ny betalt generering. En færdig video, som du ikke bryder dig om kreativt, er noget andet end et job, der fejlede teknisk.

TryMotion gemmer uploade filer og outputs privat med 7 dages udløb. Download det resultat, du vil beholde. Sletning af en TryMotion-fil fjerner den gemte kopi, men inferens-udbydere kan beholde indsendte inputs og outputs under deres egne politikker. Undgå at uploade materiale, som du ikke har tilladelse til at dele til behandling.

Et praktisk første eksperiment

Begynd med et 5 sekunders vink, en drejning eller et simpelt skridt udført mod en ryddelig baggrund. Brug en original karakterreference, hold hele silhuetten synlig, og bevar et kort omgivende lydspor. Nedskriv tre acceptkriterier, før du genererer: gestussen forbliver genkendelig, karakteren forbliver sammenhængende, og lyden starter på det korrekte tidspunkt.

Vurder resultatet mod disse kriterier, før du prøver en mere kompliceret optagelse. Dette giver dig en konkret måde at beslutte, om workflowet passer til dit projekt. Målet med en første test er at lære, hvad kilden og referencen kan bære, og derefter bruge den information til at planlægge næste optagelse.