Замініть людину у відео та збережіть оригінальне аудіо

Що насправді змінюється при заміні персонажа?

Повна заміна персонажа має на меті реінтерпретацію видимого виконавця за допомогою референсного зображення. Це може вплинути на обличчя, одяг, силует та інші візуальні деталі. Це амбітніше завдання, ніж зміна області обличчя, тому не очікуйте, що кожен піксель фону або жест залишиться незмінним.

Аудіо не обов'язково має змінюватися лише тому, що змінюється зображення. Ваше джерело може містити мову, музику, фоновий шум або їх комбінацію. Збереження цієї доріжки означає перенесення наявного звуку в нове відео; це не означає реконструкцію голосу або зміну манери мовлення нового персонажа.

Почніть із рішення, що має залишатися незмінним. Для танцювального кліпу пріоритетом може бути музичний ритм. Для маскота, що махає рукою, форма жесту важливіша за точну міміку обличчя. Для діалогу таймінг рота стає додатковою перевіркою якості. Це рішення допоможе вам відхилити невідповідне джерело до того, як ви витратите кредити.

Підготуйте один чистий, короткий вихідний кліп

Використовуйте один дубль з одним чітко видимим дорослим виконавцем. Статична камера, помірний рух та чіткий поділ між об'єктом і фоном зменшать кількість деталей для перевірки згодом. Якщо об'єкт постійно заходить за меблі або виходить за межі кадру, почніть із простішого фрагмента.

Веб-студія TryMotion приймає підготовлений H.264 MP4 тривалістю від 1 до 10 секунд, до 30 кадрів за секунду, з максимальним розміром файлу 25 MB. Обріжте його у вашому звичному редакторі перед тим, як імпортувати. Вбудованого інструменту для обрізки немає, а перейменування файлу MOV на MP4 не змінить його кодек.

Прослухайте обрізаний файл повністю. Його аудіо має починатися в потрібний момент, без залишків вступу з довшого запису. Якщо ваш редактор змістив звук окремо від відео, виправте таймлайн джерела зараз. Етап збереження аудіо не може відновити часову синхронізацію, яка вже була порушена під час експорту.

Виберіть референс, який пасує до кадру

Ваш референс надає видиму ідентичність персонажа, а не безмежний опис прихованих деталей. Фото голови дає мало інформації для рухів усього тіла. Якщо в джерелі видно виконавця у повний зріст, використовуйте референс, що показує всього персонажа з чітким силуетом.

Максимально точно підберіть позу та напрямок погляду. Референс обличчям вперед у парі з джерелом у профілі створює складнішу трансформацію. Дрібні написи, маленькі логотипи, пальці та аксесуари — це деталі, які слід перевіряти, а не сподіватися, що модель відтворить їх точно.

Зберігайте копію референсу, використаного для кожного дубля. Якщо ви пізніше порівнюєте два результати, зміна лише джерела або лише референсу дає корисніше порівняння, ніж зміна всього одночасно. Простого запису кадру, референсу та запланованого жесту достатньо для початку.

Тримайте аудіо окремо від генерації візуального ряду

Надійний робочий процес спочатку створює зображення для заміни, а потім поєднує це зображення з вихідним саундтреком. Зображення та звук повинні мати однакову початкову точку. Фінальний експорт має містити аудіодоріжку, а не просто показувати активну іконку звуку в попередньому перегляді.

Реалізація TryMotion включає опціональний етап зведення аудіо, якщо імпортоване відео містить звук. Студія визначає наявність аудіодоріжки та включає налаштування у вартість генерації. Якщо джерело беззвучне, увімкнення збереження не зможе створити відсутній звук.

Цей робочий процес використовує короткий вихідний кліп та оригінальний референс персонажа. P-Video-Replace 720p є варіантом за замовчуванням, також доступна якість 1080p. Ілюстровані сцени описують процес і не є гарантією конкретного згенерованого результату.

Перегляньте ці пункти перед поширенням

Спершу подивіться результат на нормальній швидкості, а потім огляньте складні моменти. Візуально привабливий перший кадр може приховувати деформацію руки, зміну костюма або втрату обличчя посеред кліпу. Переглядайте весь ролик, а не покладайтеся на його ескіз.

1. Перевірте початковий і кінцевий кадри. Переконайтеся, що кліп має очікуваний початок, кінець, кадрування та орієнтацію.
2. Прослухайте результат у навушниках. Переконайтеся, що доріжка присутня, її чутно, і в ній немає неочікуваного другого звукового ряду.
3. Шукайте видиму часову мітку, таку як плеск, крок або вимовлений приголосний. Порівняйте її з джерелом.
4. Огляньте руки, межі обличчя, перекриті частини тіла та будь-які брендові знаки. Переконайтеся, що результат відповідає вашим цілям.
5. Завантажте та відтворіть експортований файл у сторонньому плеєрі. Переконайтеся, що збережене відео містить аудіо, а не покладайтеся лише на попередній перегляд у браузері.

Усунення найпоширеніших невідповідностей

Якщо звукова доріжка відсутня, спочатку перевірте, чи містить імпортоване джерело аудіопотік. Беззвучний експорт у файловому менеджері може виглядати так само, як звичайний MP4. Якщо звук є локально, але відсутній у фінальному файлі, проблема стосується етапу зведення або експорту, а не референсу персонажа.

Якщо звукова доріжка постійно поспішає або запізнюється, перевірте монтаж джерела та перший кадр результату. Фіксований зсув часто можна виправити у відеоредакторі, але не приховуйте повторюваний зсув у системі: його слід дослідити перед генерацією пакету. Якщо синхронізація поступово розходиться, перевірте, чи не змінювалася швидкість відео або його тривалість.

Якщо голос звучить інакше, можливо, була використана згенерована аудіодоріжка замість оригінального запису. Зберігайте вихідну доріжку, коли ідентичність та виконання мають значення. Клонування голосу, дубляж та синтез мовлення мають бути окремими, явними рішеннями з відповідними дозволами; вони не входять до цієї MVP.

Якщо персонаж розпадається під час швидкого повороту, спростіть візуальну задачу. Спробуйте коротший відрізок, стабільніший кадр або референс, ближчий до ракурсу джерела. Повторний запуск того самого складного вхідного файлу не є надійною стратегією контролю витрат.

Розуміння кредитів та зберігання даних

За замовчуванням P-Video-Replace 720p коштує 10 кредитів для джерела тривалістю до 5 секунд та 20 для відео до 10 секунд. Опція вищої якості 1080p коштує 20 та 40 кредити відповідно. Сервер перевіряє тривалість імпортованого відео перед розрахунком вартості; перегляньте підтверджену ціну перед надсиланням.

Кредити резервуються на початку генерації. У разі підтвердженої технічної помилки зарезервовані кредити автоматично повертаються в повному обсязі один раз. Для завислих або непідтверджених завдань діє загальний ліміт у 30 хвилин. Спроби зберегти завершений результат тривають до 10 хвилин у межах цього ліміту. Якщо відео все одно не вдається доставити, кредити повернуться автоматично під час наступної перевірки відновлення, зазвичай протягом 5 хвилин, навіть якщо ви закриєте сторінку. Звернення до служби підтримки не потрібне. Непідтверджені запити перевіряються без автоматичного запуску другої платної генерації. Завершене відео, яке не подобається вам творчо, відрізняється від технічного збою завдання.

TryMotion зберігає завантажені файли та результати приватно протягом 7 днів. Завантажуйте результат, який хочете зберегти. Видалення файлу з TryMotion видаляє цю збережену копію, але постачальники послуг обробки можуть зберігати надані дані згідно зі своїми правилами. Уникайте завантаження матеріалів, на поширення яких для обробки у вас немає прав.

Практичний перший експеримент

Почніть із 5-секундного помаху рукою, повороту або простого кроку на не захаращеному фоні. Використовуйте оригінальний референс персонажа, тримайте весь його силует видимим і збережіть короткий фоновий звук. Перед генерацією запишіть три критерії прийнятності: жест залишається впізнаваним, персонаж виглядає цілісним, а аудіо починається в потрібний момент.

Оцініть результат за цими критеріями, перш ніж пробувати складніший кадр. Це дасть вам конкретний спосіб вирішити, чи підходить цей процес для вашого проєкту. Мета першого тесту — дізнатися, що можуть підтримувати джерело та референс, а потім використати цю інформацію для планування наступного дубля.