ビデオ内の人物を入れ替え、元のオーディオを維持する

キャラクターの入れ替えで実際に何が変わるのか？

キャラクター全体の置換は、リファレンス画像を使用して、目に映るパフォーマーを再解釈することを目的としています。これは、顔、服装、シルエット、その他の視覚的な細部に影響を与えます。顔の領域だけを変更するよりも野心的な試みであるため、背景のすべてのピクセルやジェスチャーが変更されずに残るとは想定しないでください。

映像が変わるからといって、オーディオまで変える必要はありません。ソースには、話し声、音楽、環境音、またはそれらの組み合わせが含まれている場合があります。そのトラックを保持するということは、既存のサウンドを新しい動画に引き継ぐことを意味します。声を再構築したり、新しいキャラクターの話し方を変えたりすることを意味するものではありません。

まず、何を一貫させるべきかを決定します。ダンスクリップなら音楽のタイミングが優先事項かもしれません。マスコットが手を振るシーンなら、正確な顔の動きよりもジェスチャーの形が重要です。対話シーンでは、口の動きのタイミングが追加の品質チェック項目になります。この判断により、クレジットを消費する前に不適切なソースを排除できます。

クリーンで短いソースクリップを1つ用意する

大人の出演者が1人、はっきりと映っているシングルショットを使用してください。固定されたカメラ、適度な動き、被写体と背景の分離により、後の検査の手間を減らせます。被写体が家具の後ろを繰り返し通り過ぎたり、フレーム外に出たりする場合は、より簡単なパッセージから始めてください。

TryMotionウェブスタジオは、1〜10秒、最大30fps、最大アップロードサイズ25MBの、準備済みのH.264 MP4形式を受け付けます。アップロードする前に、普段お使いのエディターでトリミングしてください。内蔵のトリミングツールはありません。また、MOVファイルの拡張子をMP4に書き換えてもコーデックは変換されません。

トリミング済みのファイルを最後まで聴いてください。オーディオは意図した瞬間から始まる必要があり、長い録音からの残り（リードイン）があってはいけません。エディター上で映像と音声が独立して動いてしまっている場合は、今すぐソースのタイムラインを修正してください。オーディオ保存ステップでは、書き出し時にすでにずれていたタイミング関係を復元することはできません。

ショットに適したリファレンスを選択する

リファレンスはキャラクターの視覚的なアイデンティティを提供するものであり、隠れた細部の無制限な説明ではありません。顔写真だけでは、全身のパフォーマンスに対するガイダンスはほとんど得られません。ソースに全身の出演者が映っている場合は、キャラクターの全身と輪郭がはっきりとわかるリファレンスを使用してください。

ポーズと視線の方向を、可能な限り実用的な範囲で一致させてください。横顔のままのソースに対して正面を向いたリファレンスを組み合わせると、変換の難易度が上がります。細かい文字、小さなロゴ、指、アクセサリーなどは、モデルが忠実に再現すると決めつけず、検査すべき詳細項目です。

テイクごとに使用したリファレンスのコピーを保存しておきましょう。後で2つの出力を比較する際、ソースのみ、あるいはリファレンスのみを変更した方が、すべてを一度に変更するよりも有用な比較が可能になります。カット、リファレンス、意図したジェスチャーの簡単な記録があれば、開始するには十分です。

オーディオと映像生成を分けて管理する

信頼性の高いワークフローでは、まず置換後の映像を作成し、その映像とソースのサウンドトラックを結合します。映像と音声は同じ開始点を共有する必要があります。最終的なダウンロードファイルには、プレビューでサウンドアイコンが有効になっているだけでなく、実際にオーディオトラックが含まれていなければなりません。

TryMotionの実装には、アップロードされたビデオにオーディオが含まれている場合、オプションのオーディオマージステージが含まれます。スタジオはオーディオトラックが存在するかどうかを検出し、生成の見積もりに設定を含めます。ソースが無音の場合、保存設定をオンにしても、存在しない音を作成することはできません。

このワークフローでは、短いソースクリップとオリジナルのキャラクターリファレンスを使用します。デフォルトはP-Video-Replace 720pで、より高品質な1080pも利用可能です。図解されたシーンはワークフローを説明するためのものであり、特定の生成結果を保証するものではありません。

共有前にこれらのチェック項目を確認する

まず通常の速度で出力を確認し、その後に難しい箇所を詳しく調べてください。見た目の良い最初のフレームがあっても、ショットの途中で手がぶれたり、衣装が変わったり、顔が崩れたりしていることが隠れている場合があります。サムネイルだけで判断せず、クリップ全体を確認してください。

1. 開始フレームと終了フレームを確認します。クリップが期待通りの開始、終了、フレーミング、向きであることを確認してください。
2. ヘッドホンで通して聴いてください。トラックが存在し、聞き取り可能で、予期しない2つ目のサウンドトラックが混入していないことを確認します。
3. 拍手、足音、発音された子音など、目に見えるタイミングのヒントを探し、ソースと比較してください。
4. 手、顔の境界線、隠れている身体部位、およびブランドマークを確認してください。出力が目的に適していることを確認します。
5. ダウンロードしたファイルを別のプレイヤーで再生します。ブラウザのプレビューに依存せず、保存された動画にオーディオが含まれていることを確認してください。

最も一般的な不一致のトラブルシューティング

サウンドトラックがない場合は、まずアップロードされたソースに実際にオーディオストリームがあるかどうかを確認してください。無音のエクスポートは、ファイルブラウザ上では通常のMP4と同じに見えることがあります。サウンドがローカルには存在するが最終ファイルに存在しない場合、問題はキャラクターリファレンスではなく、マージまたはエクスポートの段階にあります。

サウンドトラックが常に早かったり遅かったりする場合は、ソースの編集内容と出力の最初のフレームを調査してください。固定のオフセット（ずれ）はビデオエディタで修正できることが多いですが、パイプラインで繰り返し発生するオフセットを隠さないでください。バッチ生成を行う前に調査する必要があります。同期が徐々にずれていく場合は、映像の速度が変更されたり、長さが変わったりしていないかを確認してください。

声が違って聞こえる場合、元の録音ではなく、生成されたオーディオトラックが使用された可能性があります。アイデンティティやパフォーマンスが重要な場合は、ソーストラックを保持してください。ボイスクローニング、アフレコ、音声合成は、適切な許可を得た上で、別途、明示的に選択されるべきものであり、このMVPの範囲外です。

速い回転の際にキャラクターが崩れる場合は、映像の問題を単純化してください。より短いセクション、より安定したショット、またはソースの角度に近いリファレンスを試してください。同じ難しい入力を繰り返し実行することは、コストを抑制するための信頼できる戦略ではありません。

クレジットと保持期間について理解する

デフォルトのP-Video-Replace 720pのコストは、最大5秒のソースで10クレジット、最大10秒で20クレジットです。より高品質な1080pオプションは、それぞれ20および40クレジットかかります。サーバーは、見積もりを出す前にアップロードされた動画の長さを確認します。送信前に、確定した価格を確認してください。

生成が開始されるとクレジットが確保されます。技術的な失敗が確定した場合、予約された全クレジットが一度自動的に返還されます。スタックしたジョブや未確定のジョブには、全体で 30 分の制限があります。完了した出力の保存は、その制限時間内で最大 10 分間リトライされます。ビデオが配信できない場合でも、ページを閉じても通常 5 分以内の次回のリカバリチェック時にクレジットが自動的に返還されます。サポートへのリクエストは不要です。 未確認の送信内容は、2回目の有料生成を自動的に実行することなくチェックされます。クリエイティブ面で気に入らない完成動画は、技術的に失敗したジョブとは異なります。

TryMotionは、アップロードされたファイルと出力を7日間の期限付きでプライベートに保存します。保存しておきたい結果はダウンロードしてください。TryMotionのファイルを削除すると保存されたコピーは消去されますが、推論プロバイダーは独自のポリシーに基づき、送信された入力および出力を保持する場合があります。処理の許可を得ていない素材のアップロードは避けてください。

実用的な最初の実験

まずは、すっきりとした背景で、手を振る、回転する、簡単なステップを踏むといった5秒間の動作から始めましょう。オリジナルのキャラクターリファレンスを使用し、そのシルエット全体が見えるようにし、短い環境音のサウンドトラックを保持します。生成前に、3つの合格基準を書き留めてください：ジェスチャーが認識可能であること、キャラクターの一貫性が保たれていること、オーディオが正しいタイミングで開始されること。

より複雑なカットに挑戦する前に、これらの基準に照らして結果をレビューしてください。これにより、ワークフローがプロジェクトに適しているかどうかを具体的に判断できます。最初のテストの目的は、ソースとリファレンスでどこまで対応できるかを把握し、その情報をもとに次のテイクを計画することです。