تدريب نموذج تعلم آلي أو تعلم عميق باستخدام أنواع مختلفة من البيانات التدريبية بدلاً من الاعتماد على نوع واحد فقط

في حال فهمي لسؤالك بشكل صحيح، فلا مشكلة في تدريب نموذج تعلم آلي أو تعلم عميق باستخدام أنواع مختلفة من البيانات التدريبية بدلاً من الاعتماد على نوع واحد فقط، وذلك النهج يُعرف باسم التدريب متعدد الوسائط Multi-modal Learning، وهو يتيح للنموذج استيعاب ومعالجة أكثر من نوع من البيانات في وقت واحد، مثل الصور والنصوص، أو البيانات الجدولية والنصوص، أو حتى مزيج من الصوت والفيديو والنصوص.

بيحث يتم تصميم النموذج للتعامل مع الخصائص الفريدة لكل نوع من البيانات، فالصور مثلاً للصور نستخدم شبكات عصبية تلافيفية CNNs لاستخلاص الميزات.

و للنصوص شبكات عصبية متكررة RNNs أو نماذج مثل المحولات Transformers، أما للبيانات الجدولية نستخدم شبكات عصبية تقليدية أو طبقات مخصصة لمعالجة الأرقام والعلاقات.

بعد ذلك، دمج مخرجات تلك الشبكات المتخصصة في طبقة مشتركة داخل النموذج، واستخدامها لتعلم تمثيلات مشتركة تجمع بين المعلومات من الأنواع المختلفة للبيانات، الأمر الذي يتيح للنموذج أداء مهام مثل التصنيف، التنبؤ، أو حتى توليد البيانات كإنشاء صور من نصوص.

وعليكم السلام ورحمة الله وبركاته.

نعم، يمكن تدريب النماذج في Machine Learning و Deep Learning على أكثر من نوع من الملفات أو مصادر البيانات.

حيث يمكنك تدريب النموذج على بيانات من مصادر مختلفة مثل:

• نصوص Text من ملفات .txt أو .csv.
• صور Images من ملفات .jpg أو .png.
• صوت Audio من ملفات .wav أو .mp3.
• فيديو Video من ملفات .mp4.

إذا كنت تقصد بنوعين أى ملفين أو عدة ملفات ولكنها تحوي نفس شكل البيانات مثل ملفات نصية فقط أو صور فقط أو فيديوهات فقط . فنعم إذا كان كذلك فالأمر بسيط يمكنك دمج البيانات من الملفات المختلفة في ملف واحد باستخدام تقنيات معالجة البيانات مثل الدمج (merge) أو التوحيد (concatenation). وفي حالة البيانات النصية يمكنك دمجها باستخدام أدوات مثل Pandas أما في حالة الصور أو البيانات الصوتية يمكنك استخدام أدوات مختلفة مثل OpenCV قبل دمجها في مجموعة بيانات واحدة.

أما إذا كنت تقصد أنواع مختلفة من البيانات مثل إذا كان لديك ملفات نصية وصور فحينها يمكنك بناء نموذج تعلم عميق بعدة طبقات وكل طبقة لها نوع بيانات مدخل خاص .حيث يمر المدخل النصي عبر شبكة عصبية مخصصة لمعالجة النصوص مثل LSTM أو Transformer أما الصور باستخدام شبكة عصبيةCNN.

بتاريخ 4 دقائق مضت قال محمد عاطف17:

• نصوص Text من ملفات .txt أو .csv.
• صور Images من ملفات .jpg أو .png.
• صوت Audio من ملفات .wav أو .mp3.
• فيديو Video من ملفات .mp4.

ايوه بس الازم الاول يتحول الملف ده الي الارقام صح كده

يعني ملف النصوص او الصور الو الصوت الازم الاول يتحول اي ارقام

بتاريخ 6 دقائق مضت قال Ali Ahmed55:

ايوه بس الازم الاول يتحول الملف ده الي الارقام صح كده

يعني ملف النصوص او الصور الو الصوت الازم الاول يتحول اي ارقام

نعم صحيح في Machine Learning و Deep Learning النماذج لا تفهم إلا الأرقام . ولذلك أي نوع من البيانات سواء نصوص أو صور أو صوت أو فيديو يجب تحويله إلى تمثيل رقمي قبل أن يتم إدخاله إلى النموذج.

فالنصوص يجب تحويلها إلى tokens والصور يجب تحويلها إلى مصفوفات من البكسلات pixels حيث كل بكسل له قيمة بين 0 و 255 و الصور الملونة RGB تكون ثلاثية الأبعاد. والفيديوا أيضا يتم تحويله أيضا حيث الفيديوا هو مجموع من الإطارات والإطار الواحد مكون من عدة صور .

وهكذا  يجب تحويل أي نوع من البيانات إلى أرقام قبل إدخالها إلى النموذج و كل نوع من البيانات له طريقة تحويل خاصة به و بعد التحويل يمكن دمج أنواع البيانات المختلفة في نموذج واحد.

الف شكراا لحضرتكم

جزاكم الله كل خير