كيف صممنا تطبيق iOS لتصوير فيديو ثلاثي الأبعاد (دراسة حالة)

انجذب فريقنا أيضًا إلى التصوير ثلاثي الأبعاد. درسنا بدقة ميزات الجهاز البصري البشري والتفاصيل الفنية للتصوير المجسم. بعد ذلك ، قررنا تطوير تطبيق iOS لتصوير مقاطع فيديو ثلاثية الأبعاد وتحميل مقاطع الفيديو على YouTube. كانت الفكرة وراء التطبيق هي تسهيل تصوير الفيديو ثلاثي الأبعاد عن طريق تركيب جهازي iPhone في إطار خاص - وقد فعلنا ذلك! هكذا ظهر تطبيق Stereo Video Recorder.

لقد قررنا أن نشارك قراء Smashing Magazine تحقيقنا في إنشاء فيديو ثلاثي الأبعاد. نود أيضًا التحدث عن الميزات الفنية لإنشاء التطبيق وتقديم رسومات مفصلة للإطار المستخدم لتثبيت أجهزة iPhone.

كيف بدأ كل شيء

في دراستنا لميزات الفيديو ثلاثي الأبعاد ، بدأنا بإجراء تجارب على الواقع الافتراضي. أنشأنا إطارًا من الورق المقوى ونظرنا من خلاله إلى العالم عبر جهازي iPhone بتنسيق ثلاثي الأبعاد. يمكن العثور على تفاصيل بحثنا على مدونتنا. سنذهب إلى أبعد من ذلك هنا.

استمرارًا لهذا البحث ، قررنا إنشاء نموذج أولي آخر للتطبيق ، نموذج يسمح لك بتسجيل فيديو ثلاثي الأبعاد مجسم وتحميله على YouTube.

التنظير المجسم هو طريقة لخلق وهم العمق في صورة مسطحة. يُعرف تسجيل الاستريو منذ القرن التاسع عشر. في إنشاء فيديو ثلاثي الأبعاد مجسم ، نقوم بمحاكاة الرؤية المجهرية. نظرًا للمسافة بين التلاميذ ، يسهل على الدماغ البشري تحليل حجم الفضاء المحيط - المسافة إلى الأشياء. يستخدم التنظير المجسم ثنائي العينين على نطاق واسع في صناعة الأفلام. بالكاد يمكنك العثور على تحفة هوليوود التي لا تستخدم تنسيق الاستريو.

كان الغرض من النموذج الأولي للتطبيق الخاص بنا هو تصوير الفيديو في وقت واحد باستخدام كاميرتين مختلفتين من iPhone ثم دمج ملفات الفيديو الناتجة في واحدة للعرض باستخدام أي نظارات ثلاثية الأبعاد - على سبيل المثال ، Google Cardboard ، أو خوذة الواقع الافتراضي أو تلفزيون ثلاثي الأبعاد.

صورة ستيريو وتصورنا لصورة ثلاثية الأبعاد

اسمحوا لي أن أتحدث عن صور الاستريو وتصورنا للصور ثلاثية الأبعاد. في الواقع ، تعمل الصور المجسمة مثل أعيننا ، والتي تطورت بمرور الوقت. نظرًا لوجود مسافة بين عينينا ، فإن الصور المعروضة على شبكية العين اليمنى واليسرى مختلفة قليلاً. هذا الاختلاف يسمى اختلاف المنظر (تأثير حيث يبدو أن موضع الشيء مختلف عند النظر إليه من موقعين مختلفين). ومع ذلك ، لا يرى المراقب صورتين منفصلتين. يشكل الجهاز المرئي تصورًا لصورة مكانية واحدة ويمكنه استشعار الحجم والمسافة وما إلى ذلك. من المهم أن نفهم أن الجهاز المرئي يكتشف ويعالج ويعرض الصور والأشياء المكانية الموجودة في الفضاء في نقاط معينة.

يتيح فهم كيفية عمل الجهاز البصري البشري تحقيقًا شاملاً لكيفية تحضير المواد المرئية وإعادة إنتاجها حتى يتمكن المشاهد من الشعور بصورة كاملة ثلاثية الأبعاد.

دعونا نلقي نظرة على كل شيء بالترتيب.

مثل أي جهاز يعمل وفقًا لقوانين الفيزياء ، فإن للجهاز البصري للإنسان ميزات وقيود خاصة به.

بادئ ذي بدء ، علينا أن نفهم أنه من حيث عمليتنا البصرية ، فإننا نركز نظرنا على نقطة واحدة فقط ، تسمى وجهة نظر (POV). في الواقع ، POV هي النقطة التي تتركز فيها العيون والتي تمر من خلالها خطوط الرؤية اليمنى واليسرى. اعتمادًا على المسافة إلى POV ، ستكون الزاوية بين خطوط الرؤية للعينين اليمنى واليسرى مختلفة. يتم توجيه العيون بحيث تتلاقى الخطوط عند نقطة الرؤية. تكون هذه الخطوط متوازية عندما ينظر الشخص إلى المسافة ، أو بعبارة أخرى ، إلى اللانهاية.

الصور المعروضة على شبكية العين تختلف قليلاً بسبب الإزاحة الصغيرة للعينين. يتجلى هذا عادةً في شكل إزاحة للصورة التي ينظر إليها الشخص - إلى اليسار للعين اليسرى واليمين للعين اليمنى. هذه الظاهرة ، التي سبق ذكرها ، تسمى المنظر.

ومع ذلك ، يمكن للجهاز المرئي إدراك الحجم فقط عند بعض قيم اختلاف المنظر. اعتمادًا على المسافة إلى الكائن ، سيكون اختلاف المنظر مختلفًا للأشياء القريبة والبعيدة. قد يكون أن المنظر يتجاوز قيمة الحد ولن يرى الشخص كائنًا ثلاثي الأبعاد ، ولكن صورة متشعبة. يمكن للتجربة التي تنطوي على تبديل وجهة نظر المرء من الأشياء القريبة إلى البعيدة أن تقدم فهماً أفضل لخصائص هذا الأمر.

كما يتضح من الشكل ، إذا قمت بإصلاح وجهة نظرك في المقدمة ، فستبدأ كائنات الخلفية في التشعب. إذا قمت بإصلاح العرض الخاص بك في الخلفية ، فسوف تنقسم الصورة الأمامية. تلعب هذه الخاصية المميزة للجهاز المرئي دورًا أساسيًا في ميزات التصوير ثلاثي الأبعاد واستنساخ صور الاستريو.

في الحياة العادية ، لا نلاحظ هذا التأثير لأننا معتادون على اتباع كائن واحد فقط ، وعندما تقوم بتغيير وجهة نظرك ، يتكيف بصرك بسرعة مع الظروف الجديدة. ومع ذلك ، عندما نحاول عرض صورة حجمية بشكل مصطنع باستخدام صورتين مع اختلاف المنظر المحدد مسبقًا ، لم يعد الجهاز البصري قادرًا على التكيف بالسرعة التي يفعلها عادةً. لكي يعمل الجهاز المرئي في الوضع العادي ، يجب تعديل جهاز الفيديو ثلاثي الأبعاد بما يتناسب مع عيون المشاهد ، لتحليل مكان نقطة المراقبة. يجب أن تنشئ هذه المعدات أيضًا صورًا مجسمة مع اختلاف المنظر المطلوب.

ومع ذلك ، فإن تنفيذ ذلك صعب للغاية من الناحية الفنية. عادة ، يتم استخدام مخطط بسيط مع معلمات إطلاق هندسية وتقنية ثابتة. ستكون هذه المعلمات مختلفة بالنسبة للمناظر القريبة والبعيدة. نقصد بالمعلمات الهندسية والفنية مجال رؤية الكاميرات ، والإزاحة الأفقية للكاميرات من المركز ، وزاوية دوران الكاميرات ، ونقطة التقاء الكاميرات.

لذلك ، لن تكون قادرًا على تصوير الأشياء القريبة والبعيدة بشكل متساوٍ إذا كان لديك مجموعة واحدة فقط من معدات التصوير (كاميرتان وإطار). بتعبير أدق ، يمكنك التصوير ، ولكن سيكون من غير المريح جدًا لأي شخص مشاهدة مقطع فيديو يتم فيه ، على سبيل المثال ، ضبط الجهاز للحصول على عرض بعيد ولكنه يلتقط مشهدًا عن قرب ، أو العكس ، باستخدام تأثير الاستريو ضعيف في الخلفية.

من الفكرة إلى الممارسة: كيفية تركيب أجهزة iPhone

دعنا نعود إلى فكرتنا. قررنا تطوير نموذج أولي لتطبيق الهاتف يمكنه تسجيل فيديو استريو ثلاثي الأبعاد. بالنظر إلى كل ما سبق ، احتجنا إلى تقييم ما يلي:

• الاحتمال الأساسي لتصوير صورة استريو باستخدام جهازي iPhone ؛
• النطاق الفعال للمسافات الذي يضمن إدراكًا صوتيًا عالي الجودة ومريحًا ، مع مراعاة الظروف المعتادة لاستخدام الكاميرا.

عندما اقتربنا جدًا من إنشاء نموذج أولي ، كان أول شيء فعلناه هو تقييم إمكانات كاميرا iPhone لمهمتنا. لقد فوجئنا بسرور عندما اكتشفنا أن iPhone يعطي زاوية رؤية مقبولة لالتقاط صورة عن قرب. كما ذكرنا سابقًا ، فإن مجرد وضع كاميرتين جنبًا إلى جنب لا يكفي للحصول على تأثير استريو جيد. عادةً ، تبدأ خوارزمية حساب التصوير بتعيين معلمات الخطة - أي المسافات إلى أقرب الأشياء وأبعدها ، والمسافات بين الكائنات في مستوى الإطار. ثم يتم تحديد معلمات التثبيت بناءً على هذه البيانات.

يمكن إجراء حساب مبسط للمسافة بين الكاميرات بناءً على هذه الصيغة:

• يضبط Parallax<sub>fore</sub> الحد الأقصى للإزاحة للصورة الأمامية عندما تتداخل إطارات زوج الاستريو مع بعضها البعض.
• L<sub>fore</sub> = المسافة إلى الجسم الأمامي
• f = البعد البؤري للعدسة
• L = المسافة إلى النقطة المحورية للعدسة
• M = تكبير الإطار

في حالتنا ، كان علينا تغيير الخوارزمية بشكل طفيف ، لأننا كنا نستخدم كاميرا قياسية ، وبالتالي ، تم ضبط البعد البؤري للعدسة بشكل صارم. كانت مهمتنا هي الحصول على تأثير ستيريو مريح ونطاق مقبول من المسافات لجسم التصوير. لذلك ، احتجنا إلى إجراء عدة تجارب - ترتيب كلتا الكاميرتين بالنسبة لبعضهما البعض - من أجل إيجاد المسافة المطلوبة بين مركزيهما (المسافة بين مراكز الكاميرات) وزوايا التقارب.

لتبسيط المهمة في عملية النمذجة ، قررنا عدم تدوير الكاميرات لتحقيق التقارب عند نقطة معينة ، ولكن استخدام التقارب عند اللانهاية. اتضح أنه للحصول على أفضل نتيجة ، من الضروري ضبط زاوية تقارب الكاميرات بدقة. وإذا أخذنا في الاعتبار حقيقة أننا خططنا لإنشاء إطار من الورق المقوى لاستخدامه في تركيب أجهزة iPhone ، فإن ضبط زاوية التقارب في الكاميرات يصبح مستحيلًا عمليًا. لذلك ، بعد عدد من التجارب ، توصلنا إلى حل وسط ، وحصلنا على التوازن الأمثل بين المسافة بين الكاميرات لتمكين التصوير في المنطقة القريبة والحصول على تأثير ستيريو جيد.

كان هدفنا هو تطوير أبسط إطار لأجهزة iPhone ، بحيث يكون من السهل تصنيعه وتشغيله وتوفير معلمات التصوير اللازمة والصلابة المطلوبة. لذلك ، اخترنا نموذجًا ثلاثي الأبعاد يمكن تصنيعه من البلاستيك أو مادة رغوية (البوليسترين ، في هذه الحالة) عن طريق الطحن أو الطباعة ثلاثية الأبعاد. في المستقبل ، سنرغب بالطبع في تطوير جهاز يسهل صنعه - على سبيل المثال ، جهاز من الورق المقوى.

القيد الوحيد للأجهزة في الوقت الحالي هو أنك تحتاج إلى استخدام نفس الأجهزة ، مع كاميرات متطابقة تمامًا.

فيما يلي رسومات تفصيلية للإطار لإصدارات مختلفة من الأجهزة بأحجام شاشة 4.0 و 4.7 و 5.5 بوصات - مناسبة لأجهزة iPhone 6+ و 6S + ولأجهزة 6 و 6 S و 7 وللأجهزة 5 و 5S.

التطبيق لتصوير فيديو ثلاثي الأبعاد مجسم

يعمل التطبيق في وقت واحد على جهازين ، ولكن يتم التحكم في التصوير من جهاز واحد فقط ، لذلك ليست هناك حاجة للتحكم في عملية التصوير بطريقة خاصة.

في شكل مبسط ، يتكون سيناريو الاستخدام القياسي للتطبيق من التسلسل التالي من الإجراءات:

1. قم بتركيب جهازي iPhone في الإطار.
2. قم بتشغيل التطبيق على الجهازين.
3. حدد أي من الأجهزة سيكون بمثابة السيد وأيها سيكون بمثابة العبد. ابدأ التسجيل من الجهاز الرئيسي. (لا تتخذ أي إجراء إضافي على الجهاز الثاني.)
4. بعد التسجيل ، انتظر مزامنة الأجزاء المسجلة وجعل الفيديو جاهزًا للتحميل على YouTube.
5. قم بتحميل الفيديو على YouTube في أي وقت بعد المزامنة ، ثم شاهده على تلفزيونك ثلاثي الأبعاد أو عبر نظارات الواقع الافتراضي.

تجدر الإشارة إلى أن العمل الرئيسي يتم على جهاز واحد فقط من أجهزة iPhone ، الجهاز الرئيسي. بدأنا التصوير على جهاز iPhone هذا. تتم معالجة الفيديو وتحميله على YouTube أيضًا على الجهاز الرئيسي. يستغرق تحضير الفيديو لتحميله على YouTube بعض الوقت. سيعتمد هذا على أداء الأجهزة المستخدمة وعلى جودة الاتصال بين الأجهزة الرئيسية والتابعة.

يتم استخدام iPhone الثاني ، باعتباره العبد ، فقط ككاميرا ثانية. في نهاية التصوير ، يرسل مقطع الفيديو إلى الجهاز الرئيسي.

لقطات الشاشة الرئيسية للتطبيق ، والتي تعرض معرض مقاطع الفيديو التي تم التقاطها ، موضحة أدناه. يمكن مشاهدة مقاطع الفيديو عبر مشغل مضمن وعلى YouTube. هنا ، يمكنك أيضًا مشاهدة كيفية تعيين أدوار تصوير إضافية (رئيسية وتابعة) للأجهزة.

عقبات فنية

عدم التزامن

تتم جميع عمليات التلاعب بأجزاء الفيديو بمساعدة إطار AVFoundation القوي ، باستخدام تسريع الأجهزة ، إن أمكن.

للتحميل على YouTube ، يتم لصق أجزاء الفيديو إطارًا تلو الآخر جنبًا إلى جنب. من الواضح أن كل إطار يسار يجب أن يتطابق مع الإطار الأيمن بمرور الوقت. مع أدنى تأخير في إطارات أحد المصادر ، سيتم فقد تأثير الصوت المُجسم أو تشويهه (خاصة في المشاهد الديناميكية) ، وستظهر الصورة مضاعفة.

لحل هذه المشكلة ، بدأنا في تسجيل الفيديو على الأجهزة في نفس الوقت. في الواقع ، لا يبدأ التسجيل فورًا بعد الضغط على زر البدء ، ولكن بعد مهلة قصيرة يتم خلالها تنشيط خوارزمية معينة - تشبه إلى حد كبير الطريقة التي يقيس بها بروتوكول الوقت الدقيق (PTP) انحراف الساعة. لذلك ، تمكنا من بدء تسجيل الفيديو بتباعد يتراوح بين 30 و 50 مللي ثانية ، والذي ، في أسوأ الحالات ، يتوافق مع إطار واحد لإلغاء المزامنة تقريبًا.

البق في اتصال iOS Multipeer

استخدمنا اتصال Multipeer لمكتبة iOS الأصلية لإنشاء اتصال بين الجهازين. تنشئ هذه المكتبة اتصالاً مباشرًا بين الأجهزة الموجودة على نفس شبكة Wi-Fi ، وكذلك عبر Bluetooth أو باستخدام شيء مشابه لـ Wi-Fi Direct على iPhone. وبالتالي ، يمكنك تصوير مقاطع الفيديو ومزامنتها حتى في حقل مفتوح ، بدون شبكة إنترنت لاسلكية أو محمولة. ولكن يلزم وجود اتصال بالإنترنت لإرسال الفيديو إلى YouTube من الجهاز الرئيسي.

السبب الرئيسي في أننا قررنا استخدام هذه المكتبة هو أنها تنشئ اتصالًا بين الجهازين عندما لا يكونان متصلين بنفس الشبكة. من الواضح أنه في ظل ظروف التصوير الاستريو ثلاثية الأبعاد السيئة ، فإن أكثر ما يمكن توقعه هو اتصال 3G. لتصوير فيديو ثلاثي الأبعاد ، من الضروري أن تكون قادرًا - بأقل تأخير - على إرسال حزم البيانات من أجل المزامنة. بالإضافة إلى ذلك ، إذا لم يكن هناك اتصال بالإنترنت ، فلن نتمكن من التصوير. لذلك ، أصبحت مكتبة Multipeer Connectivity بمثابة شريان حياة. إلى جانب ذلك ، إنه حل أصلي لمنصة Apple.

ومع ذلك ، تجدر الإشارة إلى أنه لم يتم كل شيء كما أردناه تمامًا. أثناء الدمج مع Multipeer Connectivity ، تم اكتشاف العديد من الأخطاء ، وكانت المكتبة بأكملها غير مستقرة للغاية في عملها. كانت معظم الميزات المعلنة موجودة من الناحية النظرية فقط. عندما تعمل الأجهزة ضمن نفس قطاع الشبكة ، تعمل خاصية Multipeer Connectivity بشكل أكثر فعالية ؛ تم إنشاء الاتصال لفترة زمنية مقبولة ؛ يتحقق التشتت المسموح به لوقت تسليم الرسائل.

ومع ذلك ، إذا كان لدينا ، نسبيًا ، ظروف تصوير ستريو ثلاثية الأبعاد رديئة ، أو ، على سبيل المثال ، هناك العديد من الأجهزة المحمولة في مكان واحد ، فإن إنشاء اتصال يصبح أقرب إلى اليانصيب. يشعر المرء أن مكتبة Apple لم يتم تطويرها بالكامل بعد ولا تزال خامًا تمامًا.

ربط الأجهزة

قمنا بتنفيذ بروتوكول الربط التلقائي في الإصدار الأول من النموذج الأولي الخاص بنا. يتكون البروتوكول نفسه من مجموعة من القواعد التي يتم من خلالها اختيار منسق بين الأجهزة النظيرة - بناءً على الأغلبية - في النقطة الزمنية الأولية.

بعد ذلك ، يقوم المنسق بجمع إحصائيات القياس عن بُعد بشكل دوري من كل جهاز عن طريق تمرير علامة خاصة في دائرة بين الأجهزة التابعة. بناءً على بيانات القياس عن بُعد هذه ، تتم مقارنة أزواج من الأجهزة المثبتة في الإطار. بعد تحديد الزوج ، يتم تعيين السيد والعبد في الزوج ، ويتم إنشاء اتصال مباشر بينهما. في هذه المرحلة ، تم الربط.

عمليات البحث التلقائية والمستقلة

عند الضرورة ، تم إجراء عمليات بحث تلقائية ومستقلة (بناءً على معرفات فريدة) للأجهزة التي شاركت في الجلسات السابقة من أجل المزامنة (الحصول على مسارات الفيديو المسجلة في حالة فشل تحميل البيانات إلى الجهاز الرئيسي في وقت التسجيل). تم استخدام قراءات مقياس التسارع بشكل أساسي لتحديد الأجهزة التي تتوافق مع الزوج. قام المنسق بحساب الارتباط بين الأزواج المحتملة. إذا تجاوز الارتباط حدًا معينًا ، فسيتم اعتبار الأجهزة أزواجًا محتملة وتم اختبار الميزات الثانوية لاحقًا.

نظرًا لأننا لم نتمكن من التغلب تمامًا على المشكلات المذكورة أعلاه مع Multipeer Connectivity ، فقد قررنا التخلي مؤقتًا عن الارتباط التلقائي ، لأن هذا كان سيؤثر على المستخدم العادي بشكل سلبي للغاية ويفسد تجربة المستخدم.

ما انتهينا به

في النهاية ، حققنا تطبيقًا مثيرًا للاهتمام وعالي الجودة. تمنحك مشاهدة مقطع فيديو مسجل عبر هذا التطبيق نفس الشعور الذي تشعر به عند مشاهدة أفلام ثلاثية الأبعاد في المسرح.

بالطبع ، تعمل العين البشرية بشكل مختلف قليلاً: تتلاقى خطوطها عند نقطة معينة في الفضاء وتعتمد على نقطة التركيز. في حالتنا ، تبدو العيون دائمًا على التوازي. ومع ذلك ، حتى مع هذه الحقيقة ، يكون تأثير الاستريو واضحًا جدًا: يتم الشعور بحجم المساحة في المقدمة وفي منتصف الأرض وفي الخلفية تقريبًا كما هو الحال على الشاشة.

تحتاج إلى نظارات VR أو تلفزيون ثلاثي الأبعاد لمشاهدة هذا الفيديو بشكل صحيح.

لذلك ، جعلنا من الممكن استخدام تطبيق Stereo Video Recorder لتصوير فيديو استريو ثلاثي الأبعاد بنفسك لتلبية احتياجات عملك أو للمتعة فقط!

العمل على الأخطاء والخطط المستقبلية

تم تحقيق هدفنا: درسنا معايير إنشاء فيديو ثلاثي الأبعاد ، وأنشأنا تطبيقًا يمكّن أي مستخدم من إنشاء فيديو استريو. لكن الأمر ليس بالسهولة التي يبدو عليها. نحن بحاجة للعمل على بعض الأشياء. واجهتنا العديد من المشكلات مع مكتبة Multipeer Connectivity. نريد إما استبداله أو إيجاد حل بديل حتى يعمل التطبيق بشكل جيد مع وصول محدود للإنترنت.

نحتاج أيضًا إلى:

• تنفيذ التركيز المتزامن وقياس التعريض على الجهازين ، وكذلك تنفيذ تسجيل مسارات الصوت الاستريو ؛
• تطوير إطار أكثر واقعية للأجهزة ؛
• دمج آلية إقران الجهاز الأوتوماتيكي ؛
• تقديم الدعم لخيارات الأجهزة المختلفة والقدرة على التعامل مع دقة الفيديو المختلفة (في الوقت الحالي ، لا يمكننا تصوير الفيديو إلا بإصدارات iPhone نفسها - على سبيل المثال ، لا يمكن إقران iPhone 5S إلا مع iPhone 5S آخر) ؛
• إنشاء إصدار Android من التطبيق.

تطبيقنا مسجل فيديو ستيريو موجود بالفعل في متجر التطبيقات. يمكنك استخدامه لإنشاء فيديو ثلاثي الأبعاد. نحن على يقين من أن التكنولوجيا ستستمر في التطور وأنه سيكون هناك في النهاية العديد من الحلول لإنشاء فيديو مجسم. سنحاول مواكبة العصر.

يرجى ترك تعليقاتك وأفكارك حول استخدامك لهذا التطبيق. سنكون ممتنين لرأيك وتعليقاتك.

مزيد من القراءة على SmashingMag:

• أربع طرق لإنشاء تطبيق جوال ، الجزء 1: نظام iOS الأصلي
• النماذج الأولية لتطبيقات iOS و Android مع Sketch (مع الهدية الترويجية)
• مستقبل الفيديو في تصميم المواقع
• أساسيات اختبار التشغيل الآلي للتطبيقات والألعاب والويب المحمول