Замените человека в видео с сохранением оригинального аудио

Что на самом деле меняется при замене персонажа?

Полная замена персонажа направлена на переосмысление видимого исполнителя с использованием референсного изображения. Это может затронуть лицо, одежду, силуэт и другие визуальные детали. Это более амбициозная задача, чем изменение области лица, поэтому не стоит ожидать, что каждый пиксель фона или жест сохранится без изменений.

Звук не обязательно должен меняться только потому, что меняется картинка. Ваш источник может содержать речь, музыку, фоновые шумы или их комбинацию. Сохранение этой дорожки означает перенос существующего звука в новое видео; это не означает реконструкцию голоса или изменение манеры речи нового персонажа.

Начните с принятия решения о том, что должно оставаться неизменным. Для танцевального клипа приоритетом может быть музыкальный ритм. Для машущего маскота форма жеста важнее, чем точное движение лица. Для диалога тайминг рта становится дополнительной проверкой качества. Это решение поможет вам отклонить неподходящий исходник до того, как вы потратите кредиты.

Подготовьте один чистый короткий исходный клип

Используйте один кадр с одним четко видимым взрослым исполнителем. Стабильная камера, умеренное движение и отделение объекта от фона дадут вам меньше деталей для последующей проверки. Если объект постоянно проходит за мебелью или выходит из кадра, начните с более простого фрагмента.

Веб-студия TryMotion принимает подготовленный H.264 MP4 продолжительностью от 1 до 10 секунд, до 30 кадров в секунду, с максимальным размером загрузки 25 МБ. Обрежьте его в своем обычном редакторе перед тем, как импортировать. Встроенного инструмента обрезки нет, а простое переименование файла MOV в MP4 не изменит его кодек.

Прослушайте обрезанный файл полностью. Аудио должно начинаться в нужный момент, без остатков вступления из более длинной записи. Если ваш редактор переместил звук независимо от изображения, исправьте таймлайн исходника сейчас. Этап сохранения аудио не может восстановить временную связь, которая уже была нарушена при экспорте.

Выберите референс, подходящий для данного кадра

Ваш референс задает видимую личность персонажа, а не неограниченное описание скрытых деталей. Портрет дает мало информации для движений в полный рост. Когда исходник показывает исполнителя целиком, используйте референс, где персонаж виден полностью с читаемым силуэтом.

Максимально точно подбирайте позу и направление взгляда. Референс в анфас в сочетании с исходником в профиль создает более сложную трансформацию. Мелкие надписи, маленькие логотипы, пальцы и аксессуары — это детали, которые нужно проверять, а не полагаться на то, что модель воспроизведет их точно.

Сохраняйте копию референса, использованного для каждого дубля. Если вы позже будете сравнивать два результата, изменение только исходника или только референса даст вам более полезное сравнение, чем изменение всего сразу. Простой записи кадра, референса и задуманного жеста достаточно для начала.

Держите аудио отдельно от генерации видео

Надежный рабочий процесс сначала создает замененное изображение, а затем объединяет его с исходным саундтреком. Изображение и звук должны иметь одну и ту же отправную точку. Финальный экспорт должен содержать аудиодорожку, а не просто показывать активный значок звука в превью.

Реализация TryMotion включает дополнительный этап сведения аудио, если импортированное видео содержит звук. Студия определяет наличие аудиодорожки и включает этот параметр в расчет стоимости генерации. Если исходник беззвучный, включение сохранения аудио не создаст отсутствующий звук.

Этот рабочий процесс использует короткий исходный клип и оригинальный референс персонажа. P-Video-Replace 720p является вариантом по умолчанию, также доступно 1080p для более высокого качества. Иллюстрации описывают процесс и не являются гарантией конкретного результата генерации.

Проверьте эти пункты перед публикацией

Сначала посмотрите результат на обычной скорости, затем изучите сложные моменты. Визуально привлекательный первый кадр может скрывать искажение руки, смену костюма или потерю лица в середине кадра. Проверяйте весь клип целиком, а не полагайтесь на его превью.

1. Проверьте начальный и конечный кадры. Убедитесь, что клип имеет ожидаемое начало, конец, кадрирование и ориентацию.
2. Прослушайте результат в наушниках. Убедитесь, что дорожка присутствует, слышна и не содержит неожиданного второго звукового сопровождения.
3. Ищите видимый ориентир синхронизации, такой как хлопок, звук шага или произнесенный согласный звук. Сравните его с исходником.
4. Осмотрите руки, границы лица, перекрытые части тела и любые логотипы брендов. Убедитесь, что результат подходит для ваших целей.
5. Скачайте и воспроизведите экспортированный файл во внешнем плеере. Убедитесь, что сохраненное видео содержит аудио, а не полагайтесь на предпросмотр в браузере.

Устранение наиболее распространенных несоответствий

Если звуковая дорожка отсутствует, сначала проверьте, есть ли в импортированном исходнике аудиопоток. Экспорт без звука в проводнике файлов может выглядеть идентично обычному MP4. Если звук существует локально, но отсутствует в финальном файле, проблема относится к этапу сведения или экспорта, а не к референсу персонажа.

Если звуковая дорожка постоянно спешит или опаздывает, изучите монтаж исходника и первый кадр результата. Фиксированное смещение часто можно исправить в видеоредакторе, но не скрывайте повторяющееся системное смещение: его следует изучить перед запуском пакета генераций. Если синхронизация постепенно расходится, проверьте, не менялась ли скорость воспроизведения или длительность видео.

Если голос звучит иначе, возможно, была использована сгенерированная аудиодорожка вместо оригинальной записи. Сохраняйте исходную дорожку, когда важны личность и исполнение. Клонирование голоса, дубляж и синтез речи должны быть отдельными, явными решениями с соответствующими разрешениями; они не входят в данный MVP.

Если персонаж искажается во время быстрого поворота, упростите визуальную задачу. Попробуйте более короткий фрагмент, более стабильный план или референс, угол которого ближе к исходному. Многократный запуск одного и того же сложного исходника не является надежной стратегией контроля затрат.

Понимание кредитов и хранения данных

По умолчанию P-Video-Replace 720p стоит 10 кредитов для исходника до 5 секунд и 20 для видео до 10 секунд. Опция более высокого качества 1080p стоит 20 и 40 кредитов соответственно. Сервер проверяет длительность импортированного видео перед расчетом стоимости; проверьте подтвержденную цену перед отправкой.

Кредиты резервируются при начале генерации. Подтвержденный технический сбой автоматически возвращает зарезервированные кредиты в полном объеме один раз. Зависшие или неподтвержденные задачи имеют общий лимит 30 минут. Попытки сохранения готового результата повторяются до 10 минут в рамках этого общего лимита. Если видео все еще не может быть доставлено, кредиты возвращаются автоматически при следующей проверке восстановления, обычно в течение 5 минут, даже если вы закроете страницу. Запрос в поддержку не требуется. Неподтвержденные заявки проверяются без автоматической отправки повторной платной генерации. Готовое видео, которое не нравится вам творчески, отличается от задания, которое завершилось техническим сбоем.

TryMotion хранит импортированные файлы и результаты приватно в течение 7 дней. Скачайте результат, который хотите сохранить. Удаление файла в TryMotion удаляет эту сохраненную копию, но провайдеры инференса могут сохранять переданные данные согласно своей политике. Избегайте импорта материалов, на публикацию которых у вас нет прав.

Полезный первый эксперимент

Начните с 5-секундного взмаха руки, поворота или простого шага, выполненного на не загроможденном фоне. Используйте оригинальный референс персонажа, следите, чтобы его силуэт был виден полностью, и сохраните короткий фоновый саундтрек. Перед генерацией запишите три критерия приемлемости: жест остается узнаваемым, персонаж выглядит цельно, а звук начинается в нужный момент.

Оцените результат по этим критериям, прежде чем пробовать более сложный кадр. Это даст вам конкретный способ решить, подходит ли рабочий процесс для вашего проекта. Цель первого теста — узнать, что могут поддержать исходник и референс, а затем использовать эту информацию для планирования следующего дубля.