Erstatt en person i en video og behold den originale lyden

Hva endres egentlig i en karaktererstatning?

En fullstendig karaktererstatning har som mål å nytolke den synlige aktøren ved hjelp av et referansebilde. Det kan påvirke ansiktet, klærne, silhuetten og andre visuelle detaljer. Det er mer ambisiøst enn å endre et ansiktsområde, så ikke gå ut fra at hver bakgrunnspiksel eller gest vil overleve uendret.

Lyden trenger ikke å endres bare fordi bildet endres. Kilden din kan inneholde tale, musikk, bakgrunnsstøy eller en kombinasjon av disse. Å bevare det sporet betyr å føre den eksisterende lyden over i den nye videoen; det betyr ikke å rekonstruere stemmen eller få den nye karakteren til å snakke annerledes.

Start med å bestemme hva som må forbli konsistent. For et danseklipp kan musikalsk timing være prioritet. For en maskot som vinker, betyr formen på gesten mer enn nøyaktige ansiktsbevegelser. For dialog blir munn-timing en ekstra kvalitetssjekk. Denne avgjørelsen hjelper deg med å avvise en uegnet kilde før du bruker kreditter.

Klargjør ett rent, kort kildeklipp

Bruk ett enkelt opptak med én tydelig synlig voksen utøver. Et stødig kamera, moderate bevegelser og avstand mellom motivet og bakgrunnen gir deg færre detaljer å inspisere senere. Hvis motivet gjentatte ganger passerer bak møbler eller forlater bildet, start med en enklere sekvens.

TryMotion webstudio godtar en klargjort H.264 MP4 mellom 1 og 10 sekunder, med opptil 30 bilder per sekund og en maksimal filstørrelse på 25 MB. Trim den i ditt vanlige redigeringsprogram før du importerer den. Det finnes ikke noe innebygd trimmingsverktøy, og å gi nytt navn til en MOV-fil til MP4 vil ikke konvertere kodeken dens.

Lytt til den trimmede filen hele veien gjennom. Lyden skal starte i det tiltenkte øyeblikket, uten rester fra begynnelsen av et lengre opptak. Hvis redigeringsprogrammet ditt har flyttet lyden uavhengig av bildet, fiks kildens tidslinje nå. Et trinn for bevaring av lyd kan ikke gjenopprette et tidsforhold som allerede var feil i eksporten.

Velg en referanse som passer til opptaket

Referansen din leverer karakterens synlige identitet, ikke en ubegrenset beskrivelse av skjulte detaljer. Et hodebilde gir lite veiledning for en fremføring i full figur. Når kilden viser hele utøveren, bruk en referanse som viser hele karakteren med en tydelig silhuett.

Match posituren og synsvinkelen så nært som praktisk mulig. En frontvendt referanse kombinert med en kilde som forblir i profil skaper en vanskeligere transformasjon. Fin skrift, små logoer, fingre og tilbehør er detaljer som må inspiseres, ikke detaljer man kan anta at modellen vil gjenskape nøyaktig.

Behold en kopi av referansen som ble brukt for hvert opptak. Hvis du senere sammenligner to resultater, vil det å bare endre kilden eller bare referansen gi deg en mer nyttig sammenligning enn å endre alt på en gang. En enkel oversikt over opptaket, referansen og den tiltenkte gesten er nok til å begynne.

Hold lyd atskilt fra visuell generering

En pålitelig arbeidsflyt produserer erstatningsbildet først og kombinerer deretter det bildet med kildelydsporet. Bildet og lyden bør ha samme startpunkt. Den endelige eksporten må inneholde et lydspor, snarere enn bare å vise et aktivt lydikon i en forhåndsvisning.

TryMotions implementering inkluderer et valgfritt trinn for lydsammenslåing når den importerte videoen inneholder lyd. Studioet oppdager om et lydspor eksisterer og inkluderer innstillingen i prisoverslaget for genereringen. Hvis kilden er lydløs, kan ikke aktivering av bevaring skape lyd som mangler.

Denne arbeidsflyten bruker et kort kildeklipp og en original karakterreferanse. P-Video-Replace 720p er standard, med 1080p tilgjengelig for høyere kvalitet. Illustrerte scener beskriver arbeidsflyten og er ikke bevis på et bestemt generert resultat.

Gå gjennom disse sjekkpunktene før deling

Se utdataene i normal hastighet først, og inspiser deretter de vanskelige øyeblikkene. Et visuelt attraktivt første bilde kan skjule en hånd som drifter, et kostyme som endrer seg eller et ansikt som blir borte halvveis i opptaket. Se gjennom hele klippet i stedet for å stole på miniatyrbildet.

1. Sjekk åpnings- og sluttbildene. Bekreft at klippet har forventet start, slutt, innramming og orientering.
2. Lytt gjennom med hodetelefoner. Bekreft at sporet er til stede, hørbart og fritt for et uventet sekundært lydspor.
3. Se etter et synlig tidstegn, som et klapp, et fottrinn eller en talt konsonant. Sammenlign det med kilden.
4. Inspiser hender, ansiktsgrenser, tildekkede kroppsdeler og eventuelle merkevarer. Forsikre deg om at resultatet er egnet for ditt formål.
5. Last ned og spill av den eksporterte filen i en separat avspiller. Bekreft at den lagrede videoen inneholder lyden, i stedet for å stole blindt på forhåndsvisningen i nettleseren.

Feilsøk de vanligste avvikene

Hvis lydsporet mangler, sjekk først om den importerte kilden faktisk har en lydstrøm. En lydløs eksport kan se identisk ut som en vanlig MP4 i en filbehandler. Hvis lyden finnes lokalt, men ikke i den ferdige filen, ligger problemet i sammenføynings- eller eksportstadiet snarere enn i karakterreferansen.

Hvis lydsporet konsekvent er tidlig eller sent ute, inspiser kilderedigeringen og utdataens første bilde. Et fast avvik kan ofte korrigeres i et videoredigeringsprogram, men ikke skjul et gjentakende avvik i arbeidsflyten: det bør undersøkes før man genererer en hel serie. Hvis synkroniseringen drifter gradvis, sjekk om bildet har blitt tidsjustert eller om varigheten er endret.

Hvis stemmen høres annerledes ut, kan et generert lydspor ha blitt brukt i stedet for det originale opptaket. Bevar kildesporet når identitet og fremføring er viktig. Stemmekloning, dubbing og talesyntese bør være separate, eksplisitte valg med de rette tillatelsene; de faller utenfor denne MVP-en.

Hvis karakteren går i oppløsning under en rask sving, forenkle bildeutfordringen. Prøv et kortere utsnitt, et stødigere opptak, eller en referanse som ligger nærmere kildens vinkel. Å kjøre samme vanskelige kildemateriale gjentatte ganger er ikke en pålitelig strategi for kostnadskontroll.

Forstå kreditter og lagringstid

Standard P-Video-Replace 720p koster 10 kreditter for en kilde opptil 5 sekunder og 20 for opptil 10 sekunder. Alternativet med høyere kvalitet, 1080p, koster henholdsvis 20 og 40 kreditter. Serveren sjekker den importerte videoens varighet før den gir et prisoverslag; se over den bekreftede prisen før du sender inn.

Kreditter reserveres når en generering starter. En bekreftet teknisk feil returnerer automatisk alle reserverte credits én gang. Jobber som sitter fast eller er ubekreftede, har en totalgrense på 30 minutter. Lagring av et ferdig resultat forsøkes på nytt i opptil 10 minutter innenfor denne totalgrensen. Hvis videoen fortsatt ikke kan leveres, returneres credits automatisk ved neste gjenopprettingssjekk, normalt innen 5 minutter, selv om du lukker siden. Ingen forespørsel til kundestøtte er nødvendig. Ubekreftede innsendinger sjekkes uten å automatisk sende inn en ny betalt generering. En ferdig video som du misliker kreativt, er noe annet enn en jobb som feilet teknisk.

TryMotion lagrer importerte filer og resultater privat med 7 dagers utløpstid. Last ned resultatet du ønsker å beholde. Sletting av en TryMotion-fil fjerner den lagrede kopien, men leverandører av AI-tjenester kan beholde innsendte data og resultater i samsvar med sine egne retningslinjer. Unngå å laste opp materiale du ikke har autorisasjon til å dele for behandling.

Et praktisk første eksperiment

Begynn med et 5-sekunders vink, en vending eller et enkelt steg utført mot en ryddig bakgrunn. Bruk en original karakterreferanse, hold hele silhuetten synlig, og bevar et kort omgivelseslydspor. Skriv ned tre kriterier for godkjenning før du genererer: gesten forblir gjenkjennelig, karakteren forblir sammenhengende, og lyden starter på riktig tidspunkt.

Vurder resultatet mot disse kriteriene før du prøver et mer komplisert opptak. Dette gir deg en konkret måte å avgjøre om arbeidsflyten passer for prosjektet ditt. Målet med en første test er å lære hva kilden og referansen kan støtte, for deretter å bruke den informasjonen til å planlegge neste opptak.