اي هي معني 408KB لحجم مجموعة بيانات

وعليكم السلام،

بتاريخ 2 دقائق مضت قال Ail Ahmed:

انا كانت بنزال بيانات لمرض القلب عشان استخدمها في تحليل البيانات من موقع Kaggle وكده بس كانت عاوز افهم اي معني 408KB هل ده بيانات كبير جدا ومتوسط ؟

تحديد هل البيانات قليلة أو كثيرة لا يتم عبر قياس حجمها. لأن البيانات القليلة عندما تكون على شكل فيديوهات فسوف يكون حجمها ضخما، بينما البيانات النصية عادة ما يكون حجمها صغيرا حتى بوجود الكثير منها. لذلك، في مجال التعلم الآلي والعميق، لا نقيس البيانات بالمساحة الذي تأخذها من الذاكرة، بل بعدد وحدات البيانات (Data instances). ومع معرفة عدد وحدات البيانات، لا يمكن القول بدقة هل هو عدد قليل أم كثير، إلا إذا قارناها مع مجموعات البيانات المشابهة لها (يعني التي تستخدم في نفس الأمر أو في أمر مشابه)، ويتم كذلك قياس حجم البيانات بكفايتها لتدريب النماذج للقيام بالمهمة المطلوبة. فمثلا، مجموعة البيانات الشهيرة MNIST تحوي 60,000 صورة للأعداد المكتوبة بخط اليد، وهذا الكم كاف لتدريب نموذج تعلم آلة والتحقق من كفائته، لذلك نقول أنها مجموعة بيانات ذات حجم جيد للقيام بهذه المهمة.

بتاريخ 9 دقائق مضت قال Ail Ahmed:

وكمان البيانات ده هل بتحدث كل فتر

هذا يعتمد على من يوفر هذه البيانات. بعض المؤسسات تقوم بتحديث بياناتها باستمرار، بينما أغلب البيانات، خاصة التي يرفعها أشخاص عاديون، يتم جمعها مرة واحدة وتبقى نفسها بدون تغيير إلى الأبد. يمكنك أن تجد هذا الأمر مذكورا على الصفحة التي حملت البيانات منها. إذا لم تجد شيئا بخصوص هذا الأمر، فهذا على الأغلب يعني أن هذه البيانات لن يتم تحديثها في المستقبل.

بتاريخ 12 دقائق مضت قال Ail Ahmed:

وكمان هل الازم اكون علي اطلاع علي احداث حاجه ؟

لا يمكنك أن تبقى على اطلاع على كل البيانات الموجودة على الساحة وتحديثاتها، فهذا شيء متعب. لكن يمكنك متابعة فقط البيانات التي أنت مهتم بها. عندما تقوم بإنشاء نموذج تعلم آلة\عميق، فقد تحتاج إلى إعادة تدريبه كل فترة إذا كان نوع البيانات الذي تعمل عليه يتغير بتغير الزمن (مثل بيانات أسعار السوق)، لكن إذا كانت البيانات ثابتة نسبيا (مثل صور الأشخاص أو الأشياء) فهذه قد لا تحتاج تحديثا مستمرا ويمكنك أن تبقى بنفس النسخة لمدة طويلة من الزمن. يمكنك أيضا أن تستخدم البيانات الجديدة لاختبار نموذجك وترى إن كان لا يزال بنفس كفائته أم أن البيانات الجديدة صارت صعبة عليه.

بتاريخ 16 دقائق مضت قال Ail Ahmed:

واخير هل يفضل ان اكون عندي خبير بسيط في امرض القلب عشان اقدر افهم البيانات ده

من غير الممكن أن تكون خبيرا في كل شيء، فمهندس الذكاء الاصطناعي يضطر إلى العمل في عدة مجالات تختلف عما درسه. لذلك، إذا كان هذا المشروع سيكون بالشراكة مع شخص متخصص في المجال، فهنا يمكنك أن تستعين به. وإذا لم يكن متوفرا، فيمكنك أن تتعلم الحد الأدنى الذي يسمح لك باستغلال البيانات بشكل صحيح وفهم المطلوب.

 408KB يُعتَبر صغيرًا جدًا أي نصف ميجابايت، أي كمية صغيرة من البيانات ويمكن تحميلها ومعالجتها بسرعة كبيرة، حتى باستخدام الحواسيب العادية.

للتوضيح 1 ميجابايت MB يساوي 1000 كيلوبايت KB.

و 1 جيجابايت GB تساوي 1000 ميجابايت MB.

لكن ذلك لا يعني أن 408 كيلوبايت من البيانات غير مفيدة، بل كافية لأغراض معينة، مثل التعلم تحت الإشراف مع مجموعات بيانات صغيرة، أو نقل التعلم (transfer learning) حيث يتم استخدام نموذج مدرب مسبقًا على بيانات كبيرة ويتم تحسينه باستخدام البيانات الصغيرة المتاحة لديك.

بالنسبة لتحديثات البيانات، فذلك يعتمد على مصدر البيانات وما إذا كان يتم تحديثها بانتظام، فبعض مجموعات البيانات على Kaggle تُحدث بانتظام، بينما البعض الآخر يكون ثابتًا ولا يتغير، وباستطاعتك التحقق من تاريخ آخر تحديث في صفحة مجموعة البيانات على Kaggle لمعرفة ما إذا كانت هناك تحديثات دورية أم لا.

ومن الجيد دائمًا أن تكون على علم بالتحديثات والمستجدات في مجالك، سواء كان ذلك في البيانات التي تستخدمها أو في الأدوات والتقنيات التي تطبقها وذلك يساعدك على ضمان أن تحليلك يعتمد على أحدث وأدق البيانات المتاحة.

لكن لا تنجرف وراء ذلك، تلك خطوة متقدمة، ركز حاليًا على تعلم الأساسيات والتطبيق عليها ثم المكتبات وإطارات العمل اللازمة والتطبيق عليها أيضًا، وبعض فترة تستطيع متابعة الجديد.

وليس من الضروري أن تكون لديك خبرة طبية متعمقة في أمراض القلب لفهم وتحليل البيانات المتعلقة بها، ولكن وجود خلفية بسيطة مفيد بالطبع، فلو قمت ببحث بسيط وقرأت عنها  لتفهم المصطلحات الأساسية والمفاهيم الطبية المتعلقة بأمراض القلب، سيكون من الأسهل عليك تفسير البيانات واستخلاص الاستنتاجات الصحيحة، وتستطيع دائمًا الاستعانة بمصادر طبية لفهم الأمر ما أمكن ذلك.

بتاريخ 21 دقائق مضت قال Mustafa Suleiman:

بالنسبة لتحديثات البيانات، فذلك يعتمد على مصدر البيانات وما إذا كان يتم تحديثها بانتظام، فبعض مجموعات البيانات على Kaggle تُحدث بانتظام، بينما البعض الآخر يكون ثابتًا ولا يتغير، وباستطاعتك التحقق من تاريخ آخر تحديث في صفحة مجموعة البيانات على Kaggle لمعرفة ما إذا كانت هناك تحديثات دورية أم لا.

ايوه خت بالي 

بتاريخ 22 دقائق مضت قال Mustafa Suleiman:

لكن لا تنجرف وراء ذلك، تلك خطوة متقدمة، ركز حاليًا على تعلم الأساسيات والتطبيق عليها ثم المكتبات وإطارات العمل اللازمة والتطبيق عليها أيضًا، وبعض فترة تستطيع متابعة الجديد.

 

صح انا بتفق مع حضرتك جدا لن انا لسه مبتداي في مجال تعلم الاله

شكرااا جدا لحضرتكم 

وشكرااا جدا علي المعلومات والنصيحه يعني بجد شكراا جدا

بتاريخ 26 دقائق مضت قال Mustafa Suleiman:

408KB يُعتَبر صغيرًا جدًا أي نصف ميجابايت، أي كمية صغيرة من البيانات ويمكن تحميلها ومعالجتها بسرعة كبيرة، حتى باستخدام الحواسيب العادية.

للتوضيح 1 ميجابايت MB يساوي 1000 كيلوبايت KB.

و 1 جيجابايت GB تساوي 1000 ميجابايت MB

طيب هو اقل حاجه يفضل ان يكون الحجم ده عشان استخدم في مجال تعلم الاله ؟

بتاريخ منذ ساعة مضت قال Ail Ahmed:

طيب هو اقل حاجه يفضل ان يكون الحجم ده عشان استخدم في مجال تعلم الاله ؟

لا يعني أن 408 كيلوبايت من البيانات غير مفيدة، بل كافية لأغراض معينة، مثل التعلم تحت الإشراف مع مجموعات بيانات صغيرة، أو نقل التعلم (transfer learning) حيث يتم استخدام نموذج مدرب مسبقًا على بيانات كبيرة ويتم تحسينه باستخدام البيانات الصغيرة المتاحة لديك.

بتاريخ منذ ساعة مضت قال Mustafa Suleiman:

لا يعني أن 408 كيلوبايت من البيانات غير مفيدة، بل كافية لأغراض معينة، مثل التعلم تحت الإشراف مع مجموعات بيانات صغيرة، أو نقل التعلم (transfer learning) حيث يتم استخدام نموذج مدرب مسبقًا على بيانات كبيرة ويتم تحسينه باستخدام البيانات الصغيرة المتاحة لديك.

فهمت حضرتك شكرااا جداا