เราสร้างแอป iOS เพื่อถ่ายวิดีโอ 3 มิติได้อย่างไร (กรณีศึกษา)

เผยแพร่แล้ว: 2022-03-10
สรุปอย่างรวดเร็ว ↬ ไม่นานหลังจากที่ฮอลลีวูดเปิดตัวภาพยนตร์ 3 มิติเรื่องแรก รูปแบบภาพยนตร์ได้รับความนิยมอย่างรวดเร็วทั่วโลกอย่างรวดเร็ว ต้องขอบคุณการพัฒนาเทคโนโลยีการบันทึกวิดีโอ ผู้ใช้ทุกคนสามารถถ่ายวิดีโอด้วยตัวเองได้แล้ว คุณสามารถสร้างบันทึกสเตอริโอของเหตุการณ์ที่น่าจดจำในชีวิตของคุณหรือสร้างเนื้อหาที่ยอดเยี่ยมสำหรับธุรกิจของคุณ

ทีมงานของเราก็สนใจการถ่ายทำ 3D ด้วย เราศึกษาคุณสมบัติของอุปกรณ์การมองเห็นของมนุษย์อย่างละเอียดถี่ถ้วนและรายละเอียดทางเทคนิคของการถ่ายภาพสามมิติ จากนั้น เราจึงตัดสินใจพัฒนาแอป iOS เพื่อถ่ายวิดีโอ 3 มิติและอัปโหลดวิดีโอไปยัง YouTube แนวคิดเบื้องหลังแอปนี้คือการอำนวยความสะดวกในการถ่ายวิดีโอ 3 มิติด้วยการติดตั้ง iPhone สองเครื่องเข้ากับเฟรมพิเศษ และเราก็ทำได้! นั่นคือลักษณะที่ปรากฏของแอป Stereo Video Recorder

เราได้ตัดสินใจที่จะแบ่งปันกับผู้อ่านของ Smashing Magazine เกี่ยวกับการตรวจสอบของเราเกี่ยวกับการสร้างวิดีโอ 3 มิติ นอกจากนี้เรายังต้องการพูดคุยเกี่ยวกับคุณสมบัติทางเทคนิคของการสร้างแอปพลิเคชันและจัดเตรียมภาพวาดโดยละเอียดของกรอบงานที่ใช้ในการต่อเชื่อม iPhone

มันเริ่มต้นอย่างไร

ในการศึกษาคุณลักษณะวิดีโอ 3 มิติ เราเริ่มด้วยการทดลองเกี่ยวกับความเป็นจริงเสมือน เราสร้างกรอบกระดาษแข็งและมองผ่านไปยังโลกผ่าน iPhone สองเครื่องในรูปแบบ 3 มิติ รายละเอียดการวิจัยของเราสามารถพบได้ในบล็อกของเรา เราจะไปต่อที่นี่

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
กระดาษแข็งที่เราทำเพื่อศึกษาความเป็นจริงยิ่ง (ดูรุ่นใหญ่)

จากการวิจัยนี้ต่อไป เราตัดสินใจสร้างแอปพลิเคชันต้นแบบขึ้นมาอีกแบบหนึ่ง ซึ่งช่วยให้คุณสามารถบันทึกวิดีโอสามมิติแบบสามมิติและอัปโหลดไปยัง YouTube ได้

Stereoscopy เป็นวิธีการสร้างภาพลวงตาของความลึกในภาพแบน การบันทึกเสียงสเตอริโอเป็นที่รู้จักตั้งแต่ศตวรรษที่ 19 ในการสร้างวิดีโอสามมิติแบบสามมิติ เราจำลองการมองเห็นด้วยกล้องสองตา เนื่องจากระยะห่างระหว่างรูม่านตา ทำให้สมองของมนุษย์สามารถวิเคราะห์ปริมาตรของพื้นที่โดยรอบได้ง่ายขึ้นมาก - ระยะห่างจากวัตถุ Stereoscopy กล้องส่องทางไกลใช้กันอย่างแพร่หลายในอุตสาหกรรมภาพยนตร์ คุณแทบจะไม่สามารถพบกับผลงานชิ้นเอกของฮอลลีวูดที่ไม่ใช้ประโยชน์จากรูปแบบสเตอริโอได้

จุดประสงค์ของแอปต้นแบบของเราคือการถ่ายวิดีโอพร้อมๆ กันด้วยกล้อง iPhone 2 ตัว จากนั้นจึงรวมไฟล์วิดีโอที่ได้เป็นไฟล์เดียวสำหรับการดูโดยใช้แว่นตา 3 มิติ เช่น Google Cardboard หมวกนิรภัยเสมือนจริง หรือทีวี 3 มิติ

เพิ่มเติมหลังกระโดด! อ่านต่อด้านล่าง↓

ภาพสเตอริโอและการรับรู้ภาพ 3 มิติของเรา

ให้ฉันอธิบายอย่างละเอียดเกี่ยวกับภาพสเตอริโอและการรับรู้ของเราเกี่ยวกับภาพ 3 มิติ อันที่จริง ภาพสามมิติทำงานเหมือนกับดวงตาของเรา ซึ่งวิวัฒนาการไปตามกาลเวลา เนื่องจากมีระยะห่างระหว่างตาทั้งสองของเรา ภาพที่ฉายบนเรตินาของตาซ้ายและขวาจึงแตกต่างกันเล็กน้อย ความแตกต่างนี้เรียกว่าพารัลแลกซ์ (เอฟเฟกต์ที่ตำแหน่งของวัตถุดูเหมือนจะแตกต่างกันเมื่อดูจากสองตำแหน่งที่ต่างกัน) อย่างไรก็ตาม ผู้สังเกตไม่เห็นภาพสองภาพที่แยกจากกัน เครื่องมือมองเห็นสร้างการรับรู้ของภาพเชิงพื้นที่ภาพเดียวและสามารถรับรู้ปริมาตร ระยะทาง ฯลฯ สิ่งสำคัญคือต้องเข้าใจว่าอุปกรณ์มองเห็นตรวจจับ ประมวลผล และฉายภาพเชิงพื้นที่และวัตถุที่อยู่ในพื้นที่ในบางจุด

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
เครื่องมือมองเห็นสร้างการรับรู้ของปริมาตรตามพารัลแลกซ์ (ดูรุ่นใหญ่)

ความเข้าใจเกี่ยวกับวิธีการทำงานของอุปกรณ์การมองเห็นของมนุษย์ช่วยให้สามารถตรวจสอบได้อย่างละเอียดว่าต้องเตรียมและทำซ้ำวัสดุภาพอย่างไร เพื่อให้ผู้ดูมีความรู้สึกของภาพ 3 มิติเต็มรูปแบบ

ลองดูทุกอย่างตามลำดับ

เช่นเดียวกับอุปกรณ์ใดๆ ที่ทำงานภายใต้กฎแห่งฟิสิกส์ อุปกรณ์การมองเห็นของมนุษย์มีคุณสมบัติและข้อจำกัดของตัวเอง

ก่อนอื่น เราต้องเข้าใจว่า ในแง่ของกระบวนการทางสายตา เราเพ่งสายตาไปที่จุดเดียวเท่านั้น เรียกว่า มุมมอง (POV) อันที่จริง POV คือจุดที่ดวงตาถูกเพ่งมองและผ่านแนวสายตาด้านซ้ายและขวา ขึ้นอยู่กับระยะห่างจาก POV มุมระหว่างเส้นสายตาของตาซ้ายและขวาจะแตกต่างกัน ดวงตาถูกชี้นำโดยให้เส้นมาบรรจบกันที่ POV เส้นเหล่านี้ขนานกันเมื่อบุคคลมองเข้าไปในระยะทางหรืออีกนัยหนึ่งคืออนันต์

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
ดวงตาไม่ได้มองขนานกันเสมอไป ขึ้นอยู่กับระยะห่างจากวัตถุ (จุดบรรจบกันของเส้น) (ดูรุ่นใหญ่)

ภาพที่ฉายบนเรตินาแตกต่างกันเล็กน้อยเนื่องจากการเคลื่อนของดวงตาเล็กน้อย ซึ่งมักจะปรากฏในรูปแบบของการเคลื่อนตัวของภาพที่บุคคลนั้นกำลังมอง — ทางซ้ายสำหรับตาซ้าย และทางขวาสำหรับตาขวา ปรากฏการณ์นี้ที่กล่าวไปแล้วเรียกว่าพารัลแลกซ์

อย่างไรก็ตาม อุปกรณ์ที่มองเห็นสามารถรับรู้ปริมาตรได้เฉพาะค่าพารัลแลกซ์บางค่าเท่านั้น พารัลแลกซ์จะแตกต่างกันสำหรับวัตถุใกล้และไกลทั้งนี้ขึ้นอยู่กับระยะห่างจากวัตถุ อาจเป็นไปได้ว่าพารัลแลกซ์เกินค่าที่จำกัดไว้ และบุคคลนั้นจะไม่เห็นวัตถุ 3 มิติ แต่จะมองเห็นภาพสองส่วน การทดลองที่เกี่ยวข้องกับการเปลี่ยนมุมมองจากวัตถุใกล้ไปไกลสามารถช่วยให้เข้าใจลักษณะเฉพาะของสิ่งนี้ได้ดีขึ้น

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
การรับรู้ปริมาณเป็นเพียงภาพลวงตาของสมองของเรา อันที่จริงมีผลข้างเคียงบางอย่าง (ดูรุ่นใหญ่)

ดังที่เห็นได้จากรูปภาพ หากคุณกำหนดมุมมองของคุณไว้ที่พื้นหน้า วัตถุพื้นหลังจะเริ่มแยกส่วน หากคุณแก้ไขมุมมองของคุณบนพื้นหลัง ภาพเบื้องหน้าจะแยกออกเป็นสองส่วน ลักษณะเฉพาะของอุปกรณ์ภาพนี้มีบทบาทสำคัญในคุณสมบัติของการถ่ายภาพ 3 มิติและการสร้างภาพสเตอริโอ

ในชีวิตปกติ เราไม่สังเกตเห็นผลกระทบนี้เนื่องจากเราเคยติดตามวัตถุเพียงชิ้นเดียว และเมื่อคุณเปลี่ยนมุมมอง การมองเห็นของคุณจะปรับให้เข้ากับสภาพใหม่อย่างรวดเร็ว อย่างไรก็ตาม เมื่อเราพยายามฉายภาพเชิงปริมาตรโดยใช้ภาพสองภาพที่มีพารัลแลกซ์ที่กำหนดไว้ล่วงหน้า อุปกรณ์ภาพจะไม่สามารถปรับเปลี่ยนได้เร็วเท่าที่ควรอีกต่อไป เพื่อให้อุปกรณ์แสดงผลทำงานในโหมดปกติ อุปกรณ์วิดีโอ 3 มิติจะต้องปรับให้เข้ากับสายตาของผู้ชม โดยวิเคราะห์ตำแหน่งของจุดสังเกต อุปกรณ์นี้ควรสร้างภาพสเตอริโอด้วยพารัลแลกซ์ที่จำเป็น

อย่างไรก็ตาม การดำเนินการนี้เป็นเรื่องยากมากในทางเทคนิค โดยปกติแล้วจะใช้โครงร่างอย่างง่ายที่มีพารามิเตอร์การถ่ายภาพทางเรขาคณิตและเทคนิคคงที่ พารามิเตอร์เหล่านี้จะแตกต่างกันสำหรับมุมมองระยะใกล้และระยะไกล โดยพารามิเตอร์ทางเรขาคณิตและทางเทคนิค เราหมายถึงระยะการมองเห็นของกล้อง การเคลื่อนตัวในแนวนอนของกล้องจากศูนย์กลาง มุมการหมุนของกล้อง และจุดบรรจบกันของกล้อง

ดังนั้น คุณจะไม่สามารถถ่ายภาพวัตถุในระยะใกล้และไกลเท่าๆ กันได้ หากคุณมีอุปกรณ์ถ่ายภาพเพียงชุดเดียว (กล้องสองตัวและหนึ่งเฟรม) แม่นยำกว่านั้น ถ่ายได้ แต่คนจะดูวิดีโอไม่สะดวกนัก เช่น อุปกรณ์ถูกปรับให้มองในระยะไกลแต่ถ่ายระยะใกล้ หรือในทางกลับกันด้วยเอฟเฟกต์สเตอริโอ แสดงออกอย่างอ่อนแอในพื้นหลัง

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
ต้องกำหนดค่าระบบถ่ายภาพให้ตรงกับพารามิเตอร์ของระบบการมองเห็นของมนุษย์ภายใต้เงื่อนไขการสังเกตบางอย่าง (ดูรุ่นใหญ่)

จากไอเดียสู่การปฏิบัติ: วิธีติดตั้งไอโฟน

กลับไปที่ความคิดของเรา เราตัดสินใจพัฒนาต้นแบบแอปบนอุปกรณ์เคลื่อนที่ที่สามารถบันทึกวิดีโอสามมิติแบบสเตอริโอได้ เมื่อพิจารณาจากทั้งหมดข้างต้น เราจำเป็นต้องประเมินสิ่งต่อไปนี้:

  • ความเป็นไปได้พื้นฐานของการถ่ายภาพสเตอริโอโดยใช้ไอโฟนสองเครื่อง
  • ช่วงระยะทางที่มีประสิทธิภาพซึ่งจะช่วยรับรองการรับรู้สเตอริโอคุณภาพสูงและสะดวกสบาย โดยคำนึงถึงสภาวะปกติของการใช้กล้อง

เมื่อเราเข้าใกล้การสร้างต้นแบบ สิ่งแรกที่เราทำคือการประเมินศักยภาพของกล้อง iPhone สำหรับงานของเรา เรารู้สึกประหลาดใจเป็นอย่างยิ่งที่พบว่า iPhone ให้มุมมองภาพที่ยอมรับได้สำหรับการถ่ายภาพระยะใกล้ ดังที่ได้กล่าวไปแล้ว การวางกล้องสองตัวไว้ข้างกันไม่เพียงพอเพื่อให้ได้เอฟเฟกต์สเตอริโอที่ดี โดยปกติ อัลกอริธึมสำหรับการคำนวณการถ่ายภาพจะเริ่มต้นด้วยการตั้งค่าพารามิเตอร์ของแผน นั่นคือ ระยะทางไปยังวัตถุที่ใกล้ที่สุดและไกลที่สุด และระยะห่างระหว่างวัตถุในระนาบของเฟรม พารามิเตอร์การติดตั้งจะถูกเลือกตามข้อมูลเหล่านี้

การคำนวณระยะห่างระหว่างกล้องอย่างง่ายสามารถทำได้โดยใช้สูตรนี้:

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
(ดูรุ่นใหญ่)
  • Parallax<sub>fore</sub> ตั้งค่าระยะห่างสูงสุดของภาพพื้นหน้าเมื่อเฟรมคู่สเตอริโอซ้อนทับกัน
  • L<sub>fore</sub> = ระยะห่างจากวัตถุเบื้องหน้า
  • f = ความยาวโฟกัสของเลนส์
  • L = ระยะทางถึงจุดโฟกัสของเลนส์
  • M = ซูมเฟรม

ในกรณีของเรา เราต้องเปลี่ยนอัลกอริทึมเล็กน้อย เนื่องจากเราใช้กล้องมาตรฐาน ดังนั้นทางยาวโฟกัสของเลนส์จึงถูกกำหนดอย่างเข้มงวด งานของเราคือต้องได้เอฟเฟคสเตอริโอที่สะดวกสบายและระยะที่ยอมรับได้ของวัตถุที่ถ่ายภาพ ดังนั้นเราจึงต้องทำการทดลองหลายอย่าง โดยจัดเรียงกล้องทั้งสองตัวให้สัมพันธ์กัน เพื่อหาระยะห่างที่ต้องการระหว่างจุดศูนย์กลาง (ระยะห่างระหว่างจุดศูนย์กลางของกล้อง) และมุมบรรจบกัน

เพื่อลดความซับซ้อนของงานในกระบวนการสร้างต้นแบบ เราตัดสินใจที่จะไม่หมุนกล้องเพื่อให้เกิดการบรรจบกัน ณ จุดหนึ่ง แต่จะใช้การบรรจบกันที่ระยะอนันต์ ปรากฎว่าเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด จำเป็นต้องปรับมุมบรรจบกันของกล้องให้ถูกต้อง และหากเราพิจารณาถึงข้อเท็จจริงที่ว่าเราวางแผนที่จะทำกรอบกระดาษแข็งเพื่อใช้ติดไอโฟน การปรับมุมบรรจบกันของกล้องนั้นแทบจะเป็นไปไม่ได้เลย ดังนั้น หลังจากการทดลองหลายครั้ง เรามาถึงจุดประนีประนอม โดยได้รับความสมดุลที่เหมาะสมที่สุดระหว่างระยะห่างระหว่างกล้องเพื่อให้สามารถถ่ายภาพในโซนใกล้และได้เอฟเฟกต์สเตอริโอที่ดี

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
เพื่อให้ได้เอฟเฟกต์สเตอริโอที่ดีและลดผลกระทบทางสรีรวิทยาที่ไม่พึงประสงค์ ระยะห่างระหว่างโทรศัพท์จะต้องได้รับการแก้ไขอย่างเคร่งครัด (ดูรุ่นใหญ่)

เป้าหมายของเราคือการพัฒนาเฟรมที่ง่ายที่สุดสำหรับ iPhone ซึ่งง่ายต่อการผลิต สะดวกในการใช้งาน จัดเตรียมพารามิเตอร์การถ่ายภาพที่จำเป็น และมีความแข็งแกร่งตามที่ต้องการ ดังนั้นเราจึงเลือกแบบจำลอง 3 มิติที่สามารถทำจากวัสดุพลาสติกหรือโฟม (ในกรณีนี้คือสไตรีน) โดยการกัดหรือการพิมพ์ 3 มิติ ในอนาคต แน่นอนว่าเราต้องการพัฒนาอุปกรณ์ที่ง่ายต่อการสร้าง ตัวอย่างเช่น อุปกรณ์กระดาษแข็ง

ข้อจำกัดด้านฮาร์ดแวร์เพียงอย่างเดียวในขณะนี้คือ คุณต้องใช้อุปกรณ์เดียวกัน โดยมีกล้องที่เหมือนกันทุกประการ

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่องวิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
เฟรมถ่ายวิดีโอ 3 มิติ รุ่นธรรมดาที่สุด (ดูรุ่นใหญ่)

ด้านล่างนี้คือภาพวาดรายละเอียดของเฟรมสำหรับอุปกรณ์รุ่นต่างๆ ที่มีขนาดหน้าจอ 4.0, 4.7 และ 5.5 นิ้ว — เหมาะสำหรับ iPhone 6+ และ 6S+ สำหรับ 6, 6S และ 7 และสำหรับ 5 และ 5S

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
ภาพวาดสำหรับกรอบรูปทำเอง

แอพสำหรับการถ่ายวิดีโอสามมิติสามมิติ

แอปทำงานพร้อมกันบนอุปกรณ์สองเครื่อง แต่การถ่ายภาพถูกควบคุมจากอุปกรณ์เพียงเครื่องเดียว ดังนั้นจึงไม่จำเป็นต้องควบคุมกระบวนการถ่ายภาพในลักษณะพิเศษบางอย่าง

ในรูปแบบที่เรียบง่าย สถานการณ์การใช้งานมาตรฐานสำหรับแอปพลิเคชันประกอบด้วยลำดับการดำเนินการต่อไปนี้:

  1. ติดตั้ง iPhone สองเครื่องเข้ากับเฟรม
  2. เรียกใช้แอปบนอุปกรณ์ทั้งสอง
  3. กำหนดว่าอุปกรณ์ใดจะทำหน้าที่เป็นเครื่องหลักและอุปกรณ์ใดเป็นเครื่องรอง เริ่มการบันทึกจากอุปกรณ์หลัก (ไม่ต้องดำเนินการใดๆ เพิ่มเติมกับอุปกรณ์ที่สอง)
  4. หลังจากบันทึกแล้ว ให้รอการซิงโครไนซ์ส่วนที่บันทึกไว้และแสดงวิดีโอที่พร้อมสำหรับการอัปโหลดไปยัง YouTube
  5. อัปโหลดวิดีโอไปยัง YouTube ได้ทุกเมื่อหลังจากการซิงโครไนซ์ แล้วดูบนทีวี 3D ของคุณหรือผ่านแว่นตาเสมือนจริง

เป็นที่น่าสังเกตว่างานหลักเกิดขึ้นบน iPhone เพียงเครื่องเดียวซึ่งเป็นอุปกรณ์หลัก มันอยู่บน iPhone เครื่องนี้ที่เราเริ่มถ่ายทำ วิดีโอได้รับการประมวลผลและอัปโหลดไปยัง YouTube บนอุปกรณ์หลักด้วย ใช้เวลาในการเตรียมวิดีโอสำหรับการอัปโหลดไปยัง YouTube สิ่งนี้จะขึ้นอยู่กับประสิทธิภาพของอุปกรณ์ที่ใช้และคุณภาพของการเชื่อมต่อระหว่างอุปกรณ์หลักและอุปกรณ์รอง

iPhone ตัวที่สองทำหน้าที่เป็นทาส ใช้เป็นกล้องตัวที่สองเท่านั้น เมื่อสิ้นสุดการถ่ายภาพ จะส่งส่วนย่อยของวิดีโอไปยังอุปกรณ์หลัก

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
กระบวนการถ่ายวิดีโอ 3 มิติมีลักษณะดังนี้ (ดูรุ่นใหญ่)

ภาพหน้าจอของหน้าจอหลักของแอปซึ่งแสดงแกลเลอรีของวิดีโอที่ถ่ายแสดงอยู่ด้านล่าง สามารถดูวิดีโอได้ทั้งผ่านโปรแกรมเล่นแบบฝังและบน YouTube ที่นี่ คุณยังสามารถดูวิธีการกำหนดบทบาทการยิงเพิ่มเติม (หลักและรอง) ให้กับอุปกรณ์ได้

วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
วิธีถ่ายวิดีโอ 3 มิติด้วย iPhone สองเครื่อง
ส่วนต่อประสานผู้ใช้ของแอพ

อุปสรรคทางเทคนิค

การไม่ซิงโครไนซ์

การปรับแต่งทั้งหมดด้วยส่วนย่อยของวิดีโอนั้นดำเนินการด้วยความช่วยเหลือของเฟรมเวิร์ก AVFoundation อันทรงพลัง โดยใช้การเร่งฮาร์ดแวร์หากเป็นไปได้

ในการอัปโหลดไปยัง YouTube ชิ้นส่วนของวิดีโอจะถูกติดกาวทีละเฟรม เคียงข้างกัน เห็นได้ชัดว่าทุกเฟรมด้านซ้ายควรตรงกับเฟรมด้านขวาตามเวลา ด้วยความล่าช้าเพียงเล็กน้อยในเฟรมของแหล่งที่มา เอฟเฟ็กต์สเตอริโอจะหายไปหรือบิดเบี้ยว (โดยเฉพาะในฉากไดนามิก) และภาพจะปรากฏเป็นสองเท่า

เพื่อแก้ไขปัญหานี้ เราเริ่มบันทึกวิดีโอบนอุปกรณ์พร้อมกัน อันที่จริง การบันทึกไม่ได้เริ่มต้นทันทีหลังจากกดปุ่มเริ่มต้น แต่หลังจากช่วงเวลาสั้นๆ ซึ่งอัลกอริธึมเปิดใช้งาน ซึ่งคล้ายกับที่โพรโทคอลเวลาที่แม่นยำ (PTP) วัดการเอียงของนาฬิกา ดังนั้นเราจึงสามารถเริ่มการบันทึกวิดีโอด้วยความแตกต่าง 30 ถึง 50 มิลลิวินาที ซึ่งในกรณีที่เลวร้ายที่สุด จะสอดคล้องกับเฟรมการดีซิงโครไนซ์ประมาณ 1 เฟรม

ข้อบกพร่องใน iOS Multipeer Connectivity

เราใช้การเชื่อมต่อ Multipeer ของไลบรารี iOS ดั้งเดิมเพื่อสร้างการสื่อสารระหว่างอุปกรณ์ทั้งสอง ไลบรารีนี้สร้างการเชื่อมต่อโดยตรงระหว่างอุปกรณ์บนเครือข่าย Wi-Fi เดียวกัน เช่นเดียวกับผ่าน Bluetooth หรือใช้บางอย่างที่คล้ายกับ Wi-Fi Direct บน iPhone ดังนั้น คุณจึงสามารถถ่ายและซิงโครไนซ์ส่วนย่อยของวิดีโอได้แม้ในพื้นที่เปิด โดยไม่ต้องใช้เครือข่ายอินเทอร์เน็ตไร้สายหรือมือถือ แต่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ตเพื่อส่งวิดีโอไปยัง YouTube จากอุปกรณ์หลัก

เหตุผลหลักที่เราตัดสินใจใช้ไลบรารีนี้คือ มันสร้างการสื่อสารระหว่างอุปกรณ์ทั้งสองเมื่อไม่ได้เชื่อมต่อกับเครือข่ายเดียวกัน แน่นอน ภายใต้สภาวะการถ่ายภาพสเตอริโอ 3 มิติที่ไม่ดี สิ่งที่คาดหวังได้มากที่สุดคือการเชื่อมต่อ 3G ในการถ่ายวิดีโอ 3 มิติ จำเป็นอย่างยิ่งที่จะต้องสามารถส่งแพ็กเก็ตข้อมูลสำหรับการซิงโครไนซ์ได้โดยมีความล่าช้าน้อยที่สุด นอกจากนี้ ถ้าไม่มีการเชื่อมต่ออินเทอร์เน็ต เราก็ไม่สามารถถ่ายภาพได้ ดังนั้น ไลบรารีการเชื่อมต่อ Multipeer จึงกลายเป็นเส้นชีวิต นอกจากนี้ยังเป็นโซลูชันดั้งเดิมสำหรับแพลตฟอร์ม Apple

อย่างไรก็ตาม เป็นที่น่าสังเกตว่าไม่ใช่ทุกอย่างเป็นไปตามที่เราต้องการ ขณะผสานรวมกับการเชื่อมต่อแบบมัลติเพียร์ ตรวจพบจุดบกพร่องจำนวนมาก และไลบรารีทั้งหมดทำงานไม่เสถียรอย่างยิ่ง คุณลักษณะที่ประกาศไว้ส่วนใหญ่มีอยู่ในทฤษฎีเท่านั้น เมื่ออุปกรณ์ทำงานภายในเซ็กเมนต์เครือข่ายเดียวกัน Multipeer Connectivity จะทำงานได้อย่างมีประสิทธิภาพมากขึ้น การเชื่อมต่อถูกสร้างขึ้นในช่วงเวลาที่ยอมรับได้ การกระจายเวลาการส่งข้อความที่อนุญาตได้สำเร็จ

อย่างไรก็ตาม หากเรามีสภาพการถ่ายภาพสเตอริโอ 3 มิติที่ไม่ดี ค่อนข้างพูดได้ หรือมีอุปกรณ์พกพาจำนวนมากในที่เดียว การสร้างการเชื่อมต่อก็คล้ายกับลอตเตอรี หนึ่งได้รับความรู้สึกว่าห้องสมุด Apple ยังไม่พัฒนาเต็มที่และยังค่อนข้างดิบ

การเชื่อมโยงอุปกรณ์

เราใช้โปรโตคอลการเชื่อมโยงอัตโนมัติในเวอร์ชันแรกๆ ของต้นแบบของเรา โปรโตคอลเองประกอบด้วยชุดของกฎซึ่งผู้ประสานงานจะถูกเลือกจากอุปกรณ์เพียร์ - ตามเสียงส่วนใหญ่ - ที่จุดเวลาเริ่มต้น

ถัดไป ผู้ประสานงานจะรวบรวมสถิติการส่งข้อมูลทางไกลจากอุปกรณ์แต่ละเครื่องเป็นระยะๆ โดยผ่านเครื่องหมายพิเศษในวงกลมระหว่างอุปกรณ์รอง จากข้อมูลทางไกลเหล่านี้ จะมีการเปรียบเทียบคู่ของอุปกรณ์ที่ติดตั้งกับเฟรม หลังจากระบุคู่แล้ว จะมีการกำหนดคู่หลักและรองในคู่ และสร้างการเชื่อมต่อโดยตรงระหว่างกัน ในขั้นตอนนี้ การเชื่อมโยงเสร็จสมบูรณ์

การค้นหาอัตโนมัติและอิสระ

เมื่อจำเป็น จะทำการค้นหาอัตโนมัติและเป็นอิสระ (ตามตัวระบุที่ไม่ซ้ำกัน) สำหรับอุปกรณ์ที่เข้าร่วมในเซสชันก่อนหน้าเพื่อซิงโครไนซ์ (รับแทร็กวิดีโอที่บันทึกไว้ในกรณีที่ข้อมูลไม่สามารถโหลดไปยังอุปกรณ์หลักในขณะที่บันทึก) การอ่านค่าความเร่งส่วนใหญ่จะใช้เพื่อระบุอุปกรณ์ที่ตรงกับคู่ ผู้ประสานงานคำนวณความสัมพันธ์ระหว่างคู่ที่มีศักยภาพ หากสหสัมพันธ์เกินเกณฑ์ที่กำหนด อุปกรณ์จะถือเป็นคู่ที่เป็นไปได้ และคุณลักษณะรองจะได้รับการทดสอบในภายหลัง

เนื่องจากเราไม่สามารถเอาชนะปัญหาที่กล่าวถึงข้างต้นด้วยการเชื่อมต่อแบบหลายจุดได้อย่างเต็มที่ เราจึงตัดสินใจละทิ้งการลิงก์อัตโนมัติชั่วคราว เนื่องจากสิ่งนี้จะส่งผลกระทบต่อผู้ใช้ทั่วไปในทางลบอย่างมาก และทำให้ประสบการณ์ของผู้ใช้เสียไป

สิ่งที่เราลงเอยด้วย

ในที่สุด เราก็ได้แอปที่น่าสนใจและมีคุณภาพสูง การชมวิดีโอที่บันทึกผ่านแอพนี้จะทำให้คุณรู้สึกเหมือนได้รับจากการชมภาพยนตร์ 3 มิติที่โรงภาพยนตร์

แน่นอน ตามนุษย์ทำงานแตกต่างกันเล็กน้อย: เส้นของมันจะมาบรรจบกัน ณ จุดหนึ่งในอวกาศและขึ้นอยู่กับจุดโฟกัส ในกรณีของเรา ดวงตาจะมองขนานกันเสมอ อย่างไรก็ตาม แม้จะมีข้อเท็จจริงนี้ เอฟเฟกต์สเตอริโอก็เด่นชัดมาก: ระดับเสียงของพื้นที่จะรู้สึกได้ที่โฟร์กราวด์ มิดกราวด์ และแบ็คกราวด์ใกล้เคียงกับบนหน้าจอ

คุณต้องมีแว่นตา VR หรือทีวี 3D เพื่อดูวิดีโอนี้อย่างถูกต้อง

ดังนั้นเราจึงทำให้สามารถใช้แอพ Stereo Video Recorder เพื่อถ่ายวิดีโอสเตอริโอ 3 มิติด้วยตัวคุณเองสำหรับความต้องการทางธุรกิจของคุณหรือเพื่อความสนุกสนาน!

ทำงานกับจุดบกพร่องและแผนในอนาคต

บรรลุเป้าหมายของเรา: เราศึกษาเกณฑ์สำหรับการสร้างวิดีโอ 3 มิติ และเราได้สร้างแอปที่ช่วยให้ผู้ใช้สามารถสร้างวิดีโอสเตอริโอได้ แต่มันไม่ง่ายอย่างที่คิด เราต้องทำงานบางอย่าง เรามีปัญหามากมายกับไลบรารีการเชื่อมต่อแบบหลายจุด เราต้องการแทนที่หรือค้นหาวิธีแก้ปัญหาเพื่อให้แอปทำงานได้ดีกับการเข้าถึงอินเทอร์เน็ตที่จำกัด

เรายังต้อง:

  • ใช้การโฟกัสแบบซิงโครนัสและการวัดแสงบนอุปกรณ์ทั้งสอง รวมทั้งใช้การบันทึกแทร็กเสียงสเตอริโอ
  • พัฒนากรอบที่ใช้งานได้จริงมากขึ้นสำหรับอุปกรณ์
  • รวมกลไกการจับคู่อุปกรณ์อัตโนมัติ
  • ให้การสนับสนุนตัวเลือกอุปกรณ์ที่แตกต่างกันและสามารถจัดการกับความละเอียดวิดีโอที่แตกต่างกัน (ในขณะนี้ เราสามารถถ่ายวิดีโอได้เฉพาะกับ iPhone รุ่นเดียวกันเท่านั้น ตัวอย่างเช่น iPhone 5S สามารถจับคู่กับ iPhone 5S อื่นได้เท่านั้น)
  • สร้างแอปเวอร์ชัน Android

แอพ Stereo Video Recorder ของเรามีอยู่ใน App Store แล้ว คุณสามารถใช้เพื่อสร้างวิดีโอ 3 มิติ เรามั่นใจว่าเทคโนโลยีจะพัฒนาต่อไปเรื่อย ๆ และในที่สุดก็จะมีวิธีแก้ปัญหาอื่น ๆ อีกมากมายสำหรับการสร้างวิดีโอสามมิติ เราจะพยายามให้ทันกับเวลา

โปรดแสดงความคิดเห็นและแนวคิดของคุณเกี่ยวกับการใช้แอพนี้ เราจะขอบคุณสำหรับความคิดเห็นและข้อเสนอแนะของคุณ

อ่านเพิ่มเติม เกี่ยวกับ SmashingMag:

  • สี่วิธีในการสร้างแอปพลิเคชันบนมือถือ ตอนที่ 1: Native iOS
  • การสร้างต้นแบบแอป iOS และ Android ด้วย Sketch (ด้วย Freebie)
  • อนาคตของวิดีโอในการออกแบบเว็บ
  • พื้นฐานของการทดสอบระบบอัตโนมัติสำหรับแอพ เกม และเว็บบนมือถือ