مشروع واقع معزز

وعليكم السلام ورحمة الله،ذ

هل تقصدين مشروعا جاهزا ومتفوح المصدر؟ أم تريدين خطوات لمشروع مماثل لتنجزيه بنفسك؟

في حال كنت تبحثين عن مشروع جاهز يمكنك إيجاد الكثير منها على غيتهاب وتدور حول الطبول بشكل عام، إلا أن المبادئ والتقنيات المستخدمة فيها قابلة للتطبيق على آلة الطار أو أي آلة أخرى إذ يمكنك الاستفادة من هذه المشاريع كنقطة انطلاق مع تخصيص الخوارزميات والتأثيرات البصرية لتناسب خصائص هذه الآلة.

يمكنك إنجاز مشروع عملي يستخدم فيديو لآلة الطار بحيث تقومين فيه بتحديد موضع الآلة داخل الفيديو باستخدام تقنيات كشف الأجسام أو التقطيع (segmentation)، ثم تتبع حركة اليد أو العصا لتحديد لحظة ومكان الضربة بدقة.

وعند كل ضربة تقومين بإدراج تأثير بصري في الموضع المناسب باستخدام مكتبة رسوميات مثل Unity أو Three.js، بحيث يظهر التأثير بشكل واقعي ومتزامن مع الإيقاع.

وعليكم السلام ورحمة الله وبركاته.

إذا كنتِ تريدين مشروع موجود بالفعل فلا يوجد مشروع جاهز حاليا ومحدد تماما كما تريدين لقطع فيديو آلة طارات وإدراج كيان افتراضي في مكانها بشكل مباشر .

أما إذا كنتِ تقصدين أنكي تريدين إنشاء المشروع فيجب معرفة أن هذا الأمر ليس بالأمر البسيط أو السهل فيجب أولا عليكِ الحصول إو إنشاء نظام تعرّف على مكان الكائنا في الفيديو (Object Detection/Tracking) حيث ستحتاجين إلى إستخدام تقنيات الرؤية الحاسوبية مثل OpenCV أو مكتبات التعلم العميق مثل YOLO أو TensorFlow لتحديد موقع الكائنات في كل إطار من الفيديو. 

وستحتاجين باستخدام محركات الواقع المعزز مثل ARKit لنظام iOS أو ARCore لنظام Android أو أدوات مثل RealityKit أو Unity3D لإدراج الكائنات.

أعتقد أنه صعب العثور على مشروع مفتوح المصدر بالفكرة التي تريدينها لذا من الأفضل تنفيذها بنفسك، و الفكرة الأساسية تعتمد أولا على معالجة الفيديو الملتقط للتعرف على موقع وشكل آلة الطارات باستخدام خوارزميات التعرف على الأجسام مثل YOLO أو MediaPipe، و بعد تحديد موقع الآلة بدقة في المشهد، يتم إدراج كيان افتراضي بحيث يظهر وكأنه جزء طبيعي ومتناسب مع البيئة المحيطة، و يجب أن تراعي الانسجام في الإضاءة والظلال وموضع الإدراج كي يبدو العنصر الافتراضي واقعيا.

لم يتم التوضيح هل تريدين مشروع مفتوح المصدر جاهز مثلاً للإطلاع عليه؟ أم تريدين فكرة مشروع؟

في حال الأول، فلا يوجد مشروع جاهز مفتوح المصدر لذلك، ستحتاجين إلى تنفيذه بنفسك، وكنقطة إنطلاق ألقي نظرة على بيئة التطوير ARCore لأندرويد  أو ARKit لـ iOS.

وبأبسط طريقة كبداية ستحتاجين إلى OpenCV لمعالجة الفيديو بجانب  ArUco markers  لتحديد المواقع، التتبع، أو معايرة الكاميرا.

وبالطبع يجب تعلم أساسيات Computer Vision ودراسة  Camera Calibration، وبعد ذلك  قومي بتجربة تقنية SLAM من خلال مكتبة OpenCV، أو من خلال وحدة VisualSLAM من مكتبة pyslam، والأمر بحاجة إلى بحث ودراسة.