تقديم صور ثلاثية الأبعاد من انعكاسات العين باستخدام NeRF
تعتمد الرؤية على الضوء الذي يدخل العين من خلال الأنسجة الشفافة للقرنية والبؤبؤ والعدسة. عندما يصل الضوء إلى شبكية العين، تنتج المستقبلات الضوئية إشارات وتنقلها عبر العصب البصري إلى الدماغ، حيث تتشكل الصورة.
ينعكس بعض هذا الضوء الذي يدخل العين مرة أخرى إلى العالم بواسطة غشاء رقيق شديد الانعكاس من السوائل يغطي القرنية.
تمكن الباحثون في جامعة ماريلاند من التقاط هذا الضوء المنعكس واستخراج نموذج ثلاثي الأبعاد للمحيط.
في ورقة بحثية على خادم arXiv قبل الطباعة، بعنوان “رؤية العالم من خلال عينيك”، يصف الفريق الطرق المستخدمة لالتقاط انعكاسات العين وتحويلها إلى عروض ثلاثية الأبعاد متماسكة باستخدام خوارزمية عرض مرئي مدربة خصيصًا لمنظمة العفو الدولية تسمى NeRF.
مجال الإشعاع العصبي (NeRF) عبارة عن شبكة عصبية AI يمكنها إنشاء عروض مستمرة جديدة لمشاهد ثلاثية الأبعاد معقدة استنادًا إلى صور ثنائية الأبعاد متعددة.
عادةً مع بضع عشرات من الصور الثابتة بزوايا مختلفة، يمكن لـ NeRF إنشاء تمثيل ثلاثي الأبعاد بعمق وتفاصيل كافيين بحيث لا يمكن تمييزه تقريبًا عن مقطع فيديو يمكنه التحرك حول كائن أو مساحة.
في الجهد الحالي الذي يبذله فريق ماريلاند، بدأوا بصور متعددة من كاميرا عالية الدقة في وضع ثابت، مع التركيز على فرد متحرك يتطلع إلى الكاميرا، مؤطرًا مثل صورة جواز السفر أو رخصة القيادة.
عند التكبير على الانعكاس في عين الشخص المصور، تظهر صورة معكوسة لمجال الرؤية ويمكن التعرف على الكائنات الموجودة في المنطقة. يلعب
يوجد داخل الصورة جميع أنواع القطع الأثرية للعين، وتعقيد نسيج قزحية العين، والانعكاسات منخفضة الدقة التي يمكن تحديدها والتي تم التقاطها في كل صورة.
لإزالة القزحية من الصور، تم إجراء تحلل النسيج من خلال تدريب خريطة نسيج ثنائية الأبعاد تتعرف على نسيج القزحية وتحذفه.
من خلال استغلال هندسة القرنية، والتي هي تقريبًا نفسها بين جميع البالغين، تم إجراء الحسابات لتتبع المكان الذي تنظر إليه أعينهم بالضبط.
يسمح هذا أيضًا بتحديد زاوية الكاميرا، ورسم إحداثيات الصور على الهندسة المنحنية وتعيين اتجاه عرض لـ NeRF AI لاستخدامه لاحقًا لإعادة بناء العرض ثلاثي الأبعاد. على الرغم من عدم الدقة الدقيقة في تقديرات موقع القرنية والهندسة، كانت الطريقة فعالة في إعادة بناء المشهد.
تم استخدام أضواء المنطقة الموضوعة على جانبي الشخص (خارج الإطار) لإلقاء الضوء على الشيء الذي يثير الاهتمام أمامه.
طُلب من الشخص المصور التحرك داخل مجال رؤية الكاميرا حيث تم التقاط صور متعددة.
عند اختبار الطريقة على العين البشرية، يتم عرض دقة عرض متواضعة للغاية للصورة، ولكن في عرض ثلاثي الأبعاد تم تعيينه بعمق.
في اختبار تركيبي أكثر مثالية باستخدام عين مزيفة قبل الصورة الرقمية، تم الحصول على صورة أكثر وضوحًا مع دقة محسّنة لرسم الخرائط ثلاثية الأبعاد.
طبق اختبار ثالث الطريقة لالتقاط صور انعكاس للعين من مقاطع الفيديو الموسيقية لمايلي سايروس وليدي غاغا في محاولة لإعادة بناء ما يشاهدونه أثناء تصوير مقاطع الفيديو الخاصة بهم.
يبدو أن صورة عين Miley Cyrus عبارة عن ضوء شبكي LED، والذي سيكون مناسبًا لأنها تذرف دمعة في الفيديو وتحدق في ضوء ساطع قد يساعد في تحقيق التأثير المطلوب.
في نظر ليدي غاغا ، هناك ما يمكن تفسيره على أنه كاميرا على حامل ثلاثي الأرجل، لكن الصورة غير واضحة.
في كل من سيناريوهات الفيديو الموسيقي التي تم اختبارها، من المحتمل أن يكون موضوع نجم الروك هو الشيء الوحيد في الاستوديو المضاء جيدًا، لأن الأضواء والكاميرا والحركة تدور حولهم.
في المواقف العادية، مثل مكالمة Zoom أو سلسلة من منشورات الصور الشخصية، قد تكون الإضاءة أكثر ملاءمة لجمع المعلومات حول المناطق المحيطة.
المصدر: techxplore
قد يهمك:
