แทนที่บุคคลในวิดีโอและรักษาเสียงต้นฉบับไว้

อะไรคือสิ่งที่เปลี่ยนไปจริงๆ ในการแทนที่ตัวละคร?

การเปลี่ยนตัวละครทั้งตัว (Whole-character replacement) มีเป้าหมายเพื่อตีความผู้แสดงที่ปรากฏขึ้นใหม่โดยใช้รูปภาพอ้างอิง ซึ่งอาจส่งผลต่อใบหน้า เสื้อผ้า รูปร่าง และรายละเอียดทางสายตาอื่นๆ สิ่งนี้มีความทะเยอทะยานมากกว่าการเปลี่ยนเฉพาะส่วนใบหน้า ดังนั้นอย่าคาดหวังว่าพิกเซลพื้นหลังหรือท่าทางทุกอย่างจะคงเดิมโดยไม่เปลี่ยนแปลง

เสียงไม่จำเป็นต้องเปลี่ยนเพียงเพราะภาพเปลี่ยนไป ต้นฉบับของคุณอาจมีทั้งเสียงพูด ดนตรี เสียงบรรยากาศ หรือรวมกัน การรักษาแทร็กเสียงนั้นหมายถึงการนำเสียงที่มีอยู่เดิมเข้าสู่วิดีโอใหม่ ไม่ได้หมายถึงการสร้างเสียงขึ้นใหม่หรือทำให้ตัวละครใหม่พูดด้วยเสียงที่ต่างออกไป

เริ่มด้วยการตัดสินใจว่าสิ่งใดต้องคงเดิม สำหรับคลิปเต้น จังหวะดนตรีอาจเป็นสิ่งสำคัญที่สุด สำหรับมาสคอตที่โบกมือ รูปทรงของท่าทางสำคัญกว่าการเคลื่อนไหวของใบหน้าที่แม่นยำ สำหรับบทสนทนา จังหวะการขยับปากจะกลายเป็นการตรวจสอบคุณภาพเพิ่มเติม การตัดสินใจนี้จะช่วยให้คุณปฏิเสธแหล่งที่มาที่ไม่เหมาะสมก่อนที่จะเสียเครดิต

เตรียมคลิปต้นฉบับที่สะอาดและสั้นหนึ่งคลิป

ใช้ช็อตเดียวที่มีนักแสดงผู้ใหญ่ที่เห็นได้ชัดเจนหนึ่งคน กล้องที่นิ่ง การเคลื่อนไหวในระดับปานกลาง และการแยกแยะระหว่างตัวบุคคลกับพื้นหลังจะช่วยให้มีรายละเอียดที่ต้องตรวจสอบภายหลังน้อยลง หากตัวบุคคลเดินผ่านหลังเฟอร์นิเจอร์หรือออกจากเฟรมบ่อยครั้ง ให้เริ่มด้วยช่วงที่ง่ายกว่า

TryMotion เว็บสตูดิโอรองรับไฟล์ H.264 MP4 ที่เตรียมไว้ ความยาวระหว่าง 1 ถึง 10 วินาที เฟรมเรตสูงสุด 30 เฟรมต่อวินาที และขนาดอัปโหลดสูงสุด 25 MB ตัดแต่งในโปรแกรมตัดต่อปกติของคุณก่อนอัปโหลด ไม่มีเครื่องมือตัดแต่งในตัว และการเปลี่ยนชื่อไฟล์ MOV เป็น MP4 จะไม่เป็นการแปลงโคเดก

ฟังไฟล์ที่ตัดแต่งแล้วตั้งแต่ต้นจนจบ เสียงควรเริ่มในขณะที่ตั้งใจไว้ โดยไม่มีเสียงค้างจากช่วงต้นของการบันทึกที่ยาวกว่า หากโปรแกรมตัดต่อของคุณเคลื่อนย้ายเสียงแยกจากภาพ ให้แก้ไขไทม์ไลน์ต้นฉบับตอนนี้ ขั้นตอนการรักษาเสียง (audio preservation) ไม่สามารถกู้คืนความสัมพันธ์ของเวลาที่ผิดพลาดไปแล้วในการส่งออกได้

เลือกภาพอ้างอิงที่เหมาะสมกับช็อต

ภาพอ้างอิงของคุณให้ข้อมูลเอกลักษณ์ที่มองเห็นได้ของตัวละคร ไม่ใช่คำอธิบายรายละเอียดที่ซ่อนอยู่แบบไม่จำกัด ภาพถ่ายเฉพาะใบหน้า (headshot) ให้แนวทางเพียงเล็กน้อยสำหรับการแสดงแบบเต็มตัว เมื่อต้นฉบับแสดงนักแสดงทั้งตัว ให้ใช้ภาพอ้างอิงที่แสดงตัวละครทั้งตัวพร้อมโครงร่างที่ชัดเจน

จับคู่ท่าทางและทิศทางการมองให้ใกล้เคียงที่สุดเท่าที่จะทำได้ ภาพอ้างอิงที่หันหน้าตรงคู่กับต้นฉบับที่หันข้างตลอดเวลาจะทำให้การแปลงภาพยากขึ้น ตัวอักษรขนาดเล็ก โลโก้ขนาดเล็ก นิ้ว และเครื่องประดับ เป็นรายละเอียดที่ต้องตรวจสอบ ไม่ใช่รายละเอียดที่จะสมมติว่าโมเดลจะทำซ้ำได้อย่างแม่นยำ

เก็บสำเนาของภาพอ้างอิงที่ใช้ในแต่ละเทค หากคุณเปรียบเทียบผลลัพธ์สองรายการในภายหลัง การเปลี่ยนเฉพาะแหล่งที่มาหรือเฉพาะภาพอ้างอิงจะช่วยให้คุณเปรียบเทียบได้มีประโยชน์มากกว่าการเปลี่ยนทุกอย่างพร้อมกัน บันทึกสั้นๆ เกี่ยวกับช็อต ภาพอ้างอิง และท่าทางที่ตั้งใจไว้นั้นเพียงพอที่จะเริ่มต้น

แยกเสียงออกจากการสร้างภาพ

เวิร์กโฟลว์ที่เชื่อถือได้จะสร้างภาพสำหรับเปลี่ยนทดแทนก่อน แล้วจึงรวมภาพนั้นเข้ากับแทร็กเสียงต้นฉบับ ภาพและเสียงควรมีจุดเริ่มต้นเดียวกัน ไฟล์ส่งออกสุดท้ายต้องมีแทร็กเสียง ไม่ใช่แค่การแสดงไอคอนเสียงที่เปิดใช้งานในการแสดงตัวอย่างเท่านั้น

การนำไปใช้งานของ TryMotion รวมถึงขั้นตอนการรวมเสียง (audio merge) เสริม เมื่อวิดีโอที่อัปโหลดมีเสียง สตูดิโอจะตรวจจับว่ามีแทร็กเสียงหรือไม่และรวมการตั้งค่านี้ไว้ในราคาแจ้งการสร้าง หากต้นฉบับไม่มีเสียง การเปิดการรักษาเสียงไว้ไม่สามารถสร้างเสียงที่ขาดหายไปได้

ขั้นตอนการทำงานนี้ใช้คลิปต้นฉบับสั้นๆ และภาพอ้างอิงตัวละครต้นฉบับ P-Video-Replace 720p เป็นค่าเริ่มต้น โดยมี 1080p ให้เลือกสำหรับคุณภาพที่สูงกว่า ฉากที่มีภาพประกอบเป็นการอธิบายขั้นตอนการทำงานและไม่ใช่หลักฐานของผลลัพธ์ที่สร้างขึ้นจริง

ตรวจสอบรายการเหล่านี้ก่อนแชร์

ชมผลลัพธ์ที่ความเร็วปกติก่อน จากนั้นจึงตรวจสอบช่วงเวลาที่ยากลำบาก เฟรมแรกที่ดูสวยงามอาจซ่อนมือที่เคลื่อนที่ผิดปกติ ชุดที่เปลี่ยนไป หรือใบหน้าที่หายไปในช่วงกลางช็อต ตรวจสอบคลิปทั้งหมดแทนที่จะพึ่งพาเพียงภาพขยาย (thumbnail)

1. ตรวจสอบเฟรมเริ่มต้นและเฟรมสิ้นสุด ยืนยันว่าคลิปมีจุดเริ่ม จุดจบ การจัดองค์ประกอบภาพ และทิศทางที่ถูกต้องตามที่คาดไว้
2. ฟังผ่านหูฟัง ตรวจสอบว่ามีแทร็กเสียงอยู่ ได้ยินชัดเจน และไม่มีเสียงที่สองที่ไม่คาดคิดแทรกเข้ามา
3. มองหาสัญญาณเวลาที่เห็นได้ชัด เช่น การตบมือ การย่ำเท้า หรือพยัญชนะที่พูดออกมา เปรียบเทียบกับต้นฉบับ
4. ตรวจสอบมือ ขอบใบหน้า ส่วนของร่างกายที่ถูกบัง และเครื่องหมายแบรนด์ต่างๆ ตรวจสอบให้แน่ใจว่าผลลัพธ์เหมาะสมกับวัตถุประสงค์ของคุณ
5. ดาวน์โหลดและเล่นไฟล์ที่ส่งออกในเครื่องเล่นอื่น ยืนยันว่าวิดีโอที่บันทึกไว้มีเสียงรวมอยู่ด้วย แทนที่จะพึ่งพาเพียงการดูตัวอย่างผ่านเบราว์เซอร์

แก้ไขปัญหาความไม่สอดคล้องที่พบบ่อยที่สุด

หากไม่มีเสียงประกอบ ขั้นแรกให้ตรวจสอบว่าต้นฉบับที่อัปโหลดมีสตรีมเสียงจริงหรือไม่ ไฟล์ที่ส่งออกซึ่งไม่มีเสียงอาจดูเหมือน MP4 ปกติในโปรแกรมจัดการไฟล์ หากมีเสียงอยู่ในเครื่องแต่ไม่มีในไฟล์สุดท้าย ปัญหาจะอยู่ที่ขั้นตอนการรวมไฟล์ (merge) หรือการส่งออก (export) มากกว่าการอ้างอิงตัวละคร

หากเสียงประกอบเร็วหรือช้ากว่าภาพอย่างต่อเนื่อง ให้ตรวจสอบการตัดต่อต้นฉบับและเฟรมแรกของผลลัพธ์ ค่าความคลาดเคลื่อนที่คงที่มักจะแก้ไขได้ในโปรแกรมตัดต่อวิดีโอ แต่ไม่ควรละเลยความคลาดเคลื่อนที่เกิดขึ้นซ้ำในระบบประมวลผล ซึ่งควรได้รับการตรวจสอบก่อนสร้างงานเป็นชุด หากการซิงโครไนซ์ค่อยๆ เลื่อนออกไป ให้ตรวจสอบว่าภาพมีการปรับเวลา (retime) หรือมีการเปลี่ยนแปลงความยาวหรือไม่

หากเสียงดูเปลี่ยนไป อาจเป็นเพราะมีการใช้แทร็กเสียงที่สร้างขึ้นใหม่แทนการบันทึกเสียงต้นฉบับ โปรดรักษาแทร็กเสียงต้นฉบับไว้เมื่อเอกลักษณ์และการแสดงเป็นสิ่งสำคัญ การโคลนเสียง การพากย์เสียง และการสังเคราะห์เสียงควรเป็นตัวเลือกแยกต่างหากที่ชัดเจนพร้อมการอนุญาตที่ถูกต้อง ซึ่งอยู่นอกเหนือขอบเขตของ MVP นี้

หากตัวละครผิดเพี้ยนระหว่างการหมุนตัวอย่างรวดเร็ว ให้ลดความซับซ้อนของปัญหาภาพ ลองใช้ช่วงที่สั้นลง ช็อตที่นิ่งขึ้น หรือภาพอ้างอิงที่มีมุมใกล้เคียงกับแหล่งที่มา การรันอินพุตที่ยากแบบเดิมซ้ำๆ ไม่ใช่กลยุทธ์ที่เชื่อถือได้ในการควบคุมต้นทุน

ทำความเข้าใจเรื่องเครดิตและการเก็บรักษาข้อมูล

ค่าเริ่มต้น P-Video-Replace 720p มีค่าใช้จ่าย 10 เครดิตสำหรับแหล่งที่มาความยาวสูงสุด 5 วินาที และ 20 สำหรับความยาวสูงสุด 10 วินาที ตัวเลือก 1080p ที่คุณภาพสูงกว่ามีค่าใช้จ่าย 20 และ 40 เครดิตตามลำดับ เซิร์ฟเวอร์จะตรวจสอบความยาวของวิดีโอที่อัปโหลดก่อนแจ้งราคา โปรดตรวจสอบราคาที่ยืนยันแล้วก่อนส่งงาน

เครดิตจะถูกสำรองไว้เมื่อการสร้างเริ่มต้นขึ้น หากยืนยันได้ว่าเกิดความล้มเหลวทางเทคนิค ระบบจะคืนเครดิตที่สำรองไว้ทั้งหมดให้โดยอัตโนมัติหนึ่งครั้ง งานที่ค้างหรือไม่ได้รับการยืนยันจะมีขีดจำกัดเวลาโดยรวม 30 นาที การพยายามบันทึกผลลัพธ์ที่เสร็จสมบูรณ์จะทำซ้ำสูงสุด 10 นาที ภายในขีดจำกัดเวลานั้น หากยังไม่สามารถส่งมอบวิดีโอได้ เครดิตจะคืนให้โดยอัตโนมัติในการตรวจสอบการกู้คืนครั้งถัดไป ปกติจะอยู่ภายใน 5 นาที แม้ว่าคุณจะปิดหน้าเว็บไปแล้วก็ตาม ไม่จำเป็นต้องส่งคำร้องขอความช่วยเหลือ การส่งงานที่ไม่ได้รับการยืนยันจะถูกตรวจสอบโดยไม่มีการส่งการสร้างแบบชำระเงินครั้งที่สองโดยอัตโนมัติ วิดีโอที่เสร็จสมบูรณ์ซึ่งคุณไม่ชอบในเชิงสร้างสรรค์นั้นแตกต่างจากงานที่ล้มเหลวทางเทคนิค

TryMotion จัดเก็บไฟล์ที่อัปโหลดและผลลัพธ์แบบส่วนตัวโดยมีอายุ 7 วัน ดาวน์โหลดผลลัพธ์ที่คุณต้องการเก็บไว้ การลบไฟล์ใน TryMotion จะเป็นการลบสำเนาที่จัดเก็บไว้นั้น แต่ผู้ให้บริการประมวลผล (inference providers) อาจเก็บรักษาอินพุตและเอาต์พุตที่ส่งมาภายใต้นโยบายของตนเอง หลีกเลี่ยงการอัปโหลดเนื้อหาที่คุณไม่ได้รับอนุญาตให้แชร์เพื่อการประมวลผล

การทดลองแรกที่ใช้งานได้จริง

เริ่มด้วยการโบกมือ การหมุนตัว หรือการก้าวเดินง่ายๆ ความยาว 5 วินาที โดยแสดงหน้าพื้นหลังที่ดูไม่รก ใช้ตัวละครอ้างอิงต้นฉบับ ให้เห็นรูปร่างทั้งหมดชัดเจน และรักษาแทร็กเสียงบรรยากาศสั้นๆ ไว้ จดเกณฑ์การยอมรับงานสามข้อก่อนที่คุณจะสร้างงาน: ท่าทางยังคงจดจำได้, ตัวละครมีความสม่ำเสมอ และเสียงเริ่มในจังหวะที่ถูกต้อง

ตรวจสอบผลลัพธ์ตามเกณฑ์เหล่านั้นก่อนที่จะลองช็อตที่ซับซ้อนกว่า วิธีนี้จะช่วยให้คุณตัดสินใจได้อย่างชัดเจนว่าขั้นตอนการทำงานนั้นเหมาะสมกับโปรเจกต์ของคุณหรือไม่ เป้าหมายของการทดสอบครั้งแรกคือการเรียนรู้ว่าต้นฉบับและภาพอ้างอิงสามารถรองรับอะไรได้บ้าง จากนั้นจึงใช้ข้อมูลนั้นในการวางแผนเทคต่อไป