Substitua uma pessoa num vídeo e mantenha o áudio original

O que muda realmente numa substituição de personagem?

Uma substituição de personagem completa visa reinterpretar o ator visível usando uma imagem de referência. Isso pode afetar o rosto, vestuário, silhueta e outros detalhes visuais. É mais ambicioso do que alterar uma região do rosto, por isso não assuma que cada píxel do fundo ou cada gesto sobreviverá inalterado.

O áudio não precisa de mudar apenas porque a imagem muda. A sua fonte pode conter fala, música, som ambiente ou uma combinação deles. Preservar essa faixa significa transportar o som existente para o novo vídeo; não significa reconstruir a voz ou fazer com que a nova personagem fale de forma diferente.

Comece por decidir o que deve permanecer consistente. Para um clip de dança, a temporização musical pode ser a prioridade. Para uma mascote a acenar, a forma do gesto importa mais do que o movimento facial exato. Para diálogos, a temporização da boca torna-se uma verificação de qualidade adicional. Esta decisão ajuda-o a rejeitar uma fonte inadequada antes de gastar créditos.

Prepare um clip de fonte limpo e curto

Utilize um único plano com um intérprete adulto claramente visível. Uma câmara estável, movimento moderado e separação entre o sujeito e o fundo dão-lhe menos detalhes para inspecionar mais tarde. Se o sujeito passar repetidamente por trás de móveis ou sair do enquadramento, comece com uma passagem mais fácil.

O estúdio web TryMotion aceita um MP4 H.264 preparado entre 1 e 10 segundos, até 30 frames por segundo, com um tamanho máximo de importação de 25 MB. Recorte-o no seu editor habitual antes de importar. Não existe uma ferramenta de recorte integrada, e renomear um ficheiro MOV para MP4 não converterá o seu codec.

Oiça o ficheiro recortado até ao fim. O seu áudio deve começar no momento pretendido, sem restos de uma introdução de uma gravação mais longa. Se o seu editor moveu o som independentemente da imagem, corrija a linha de tempo da fonte agora. Um passo de preservação de áudio não pode recuperar uma relação de temporização que já estava errada na exportação.

Escolha uma referência que se adeque ao plano

A sua referência fornece a identidade visível da personagem, não uma descrição ilimitada de detalhes ocultos. Um grande plano do rosto dá pouca orientação para uma performance de corpo inteiro. Quando a fonte mostra o intérprete por completo, utilize uma referência que mostre a personagem completa com um contorno legível.

Corresponda a pose e a direção do olhar o mais fielmente possível. Uma referência de frente emparelhada com uma fonte que permanece de perfil cria uma transformação mais difícil. Letras finas, logótipos pequenos, dedos e acessórios são detalhes a inspecionar, não detalhes que deve assumir que o modelo reproduzirá fielmente.

Guarde uma cópia da referência utilizada para cada take. Se mais tarde comparar dois resultados, alterar apenas a fonte ou apenas a referência dar-lhe-á uma comparação mais útil do que alterar tudo ao mesmo tempo. Um registo simples do plano, da referência e do gesto pretendido é suficiente para começar.

Manter o áudio separado da geração visual

Um fluxo de trabalho fiável produz primeiro a imagem de substituição e depois combina essa imagem com a banda sonora de origem. A imagem e o som devem partilhar o mesmo ponto de partida. A exportação final deve conter uma faixa de áudio, em vez de apenas mostrar um ícone de som ativado numa pré-visualização.

A implementação da TryMotion inclui uma fase opcional de fusão de áudio quando o vídeo importado contém áudio. O estúdio deteta se existe uma faixa de áudio e inclui a configuração no orçamento da geração. Se a fonte for silenciosa, ativar a preservação não pode criar som em falta.

Este fluxo de trabalho utiliza um clip de fonte curto e uma referência de personagem original. O P-Video-Replace 720p é o padrão, com 1080p disponível para maior qualidade. As cenas ilustradas descrevem o fluxo de trabalho e não são evidência de um resultado gerado em particular.

Reveja estas verificações antes de partilhar

Assista ao resultado em velocidade normal primeiro, depois inspecione os momentos difíceis. Um primeiro frame visualmente atraente pode ocultar uma mão que se desvia, um guarda-roupa que muda ou um rosto perdido a meio do plano. Reveja o clip inteiro em vez de confiar na miniatura.

1. Verifique os frames de abertura e fecho. Confirme que o clip tem o início, fim, enquadramento e orientação esperados.
2. Oiça com auscultadores. Verifique se a faixa está presente, audível e livre de uma segunda banda sonora inesperada.
3. Procure uma pista visual de temporização, como uma palma, um passo ou uma consoante falada. Compare-a com a fonte.
4. Inspecione as mãos, os limites do rosto, partes do corpo ocultas e quaisquer marcas de marcas. Certifique-se de que o resultado é adequado para o seu propósito.
5. Transfira e reproduza o ficheiro exportado num segundo leitor. Confirme que o vídeo guardado inclui o áudio, em vez de depender de uma pré-visualização do navegador.

Resolver os problemas de correspondência mais comuns

Se a banda sonora estiver ausente, verifique primeiro se a fonte importada tem realmente um fluxo de áudio. Uma exportação silenciosa pode parecer idêntica a um MP4 normal num explorador de ficheiros. Se o som existe localmente mas não no ficheiro final, o problema pertence à fase de fusão ou exportação e não à referência da personagem.

Se a banda sonora estiver consistentemente adiantada ou atrasada, inspecione a edição da fonte e o primeiro frame do resultado. Um desvio fixo pode frequentemente ser corrigido num editor de vídeo, mas não oculte um desvio recorrente no pipeline: este deve ser investigado antes de gerar um lote. Se a sincronização se desviar gradualmente, verifique se a imagem foi reajustada temporalmente ou se a sua duração foi alterada.

Se a voz soar diferente, pode ter sido utilizada uma faixa de áudio gerada em vez da gravação original. Preserve a faixa de origem quando a identidade e a performance importam. A clonagem de voz, dobragem e síntese de voz devem ser escolhas separadas e explícitas com as devidas permissões; estas estão fora deste MVP.

Se a personagem se desmembrar durante uma rotação rápida, simplifique o problema da imagem. Tente uma secção mais curta, um plano mais estável ou uma referência mais próxima do ângulo da fonte. Executar repetidamente o mesmo input difícil não é uma estratégia fiável para controlar custos.

Compreender créditos e retenção

O P-Video-Replace 720p predefinido custa 10 créditos para uma fonte de até 5 segundos e 20 para até 10 segundos. A opção de 1080p de maior qualidade custa 20 e 40 créditos, respetivamente. O servidor verifica a duração do vídeo importado antes de emitir um orçamento; reveja esse preço confirmado antes de submeter.

Os créditos são reservados quando uma geração começa. Uma falha técnica confirmada devolve automaticamente todos os créditos reservados uma única vez. Trabalhos bloqueados ou não confirmados têm um limite global de 30 minutos. O salvamento de um resultado concluído é tentado durante até 10 minutos, dentro desse limite global. Se o vídeo ainda não puder ser entregue, os créditos regressam automaticamente na próxima verificação de recuperação, normalmente em 5 minutos, mesmo que feche a página. Não é necessário pedido de suporte. Os envios não confirmados são verificados sem submeter automaticamente uma segunda geração paga. Um vídeo concluído de que não goste criativamente é diferente de um trabalho que falhou tecnicamente.

A TryMotion armazena importações e resultados de forma privada com uma expiração de 7 dias. Transfira o resultado que deseja manter. Eliminar um ficheiro da TryMotion remove essa cópia armazenada, mas os fornecedores de inferência podem reter inputs e outputs submetidos sob as suas próprias políticas. Evite importar material que não está autorizado a partilhar para processamento.

Uma primeira experiência prática

Comece com um aceno de 5 segundos, uma volta ou um passo simples executado contra um fundo desimpedido. Utilize uma referência de personagem original, mantenha toda a sua silhueta visível e preserve uma curta banda sonora ambiente. Escreva três critérios de aceitação antes de gerar: o gesto permanece reconhecível, a personagem mantém-se coerente e o áudio começa no momento correto.

Reveja o resultado face a esses critérios antes de tentar um plano mais complicado. Isto dá-lhe uma forma concreta de decidir se o fluxo de trabalho se adequa ao seu projeto. O objetivo de um primeiro teste é aprender o que a fonte e a referência conseguem suportar e, depois, usar essa informação para planear o take seguinte.