كيف ادمج بين ملفين من البيانات بلغه باثيون الاستخدم في مجال تعلم الاله ؟

مرحبًا،

حتى يمكنك الحصول على بيانات من عدة مصادر (هنا ملفين مثلًا) فيجب أن تكون البيانات لها نفس الخصائص في كل المصادر أو تقوم بأخذ المشترك بينها حتى تتجنب الحصول على أعمدة فارغة كثيرة.

في حالتك هذه و بإطلاع سريع على الملفين يبدو أن الملفين لهما نفس الأعمدة و لكن مع اختلاف بتسمية العمود بشكل بسيط، لذلك تكون الخطوة الأولى هي تحميل كل ملف على حدى و توحيد الأسماء، مثال بسيط هناك عمود اسمه ST slope في أحد الملفات و لكن في الملف الآخر اسمه Slope of ST، بالتالي وضوحًا يجب تعديل أحدهما إلى الآخر أو تعديل كليهما إلى اسم مشترك آخر. و هذا ينطبق على بقية الأعمدة، أما في حال وجود أعمدة غير مشتركة فيجب حذفها. 

أمر آخر يجب القيام به هو توحيد شكل القيم و نمطها، مثلًا في أحد الملفات كان يتم وضع قيم نصية للدلالة على أن الشخص معه مرض أم لا، بينما في الملف الآخر يتم وضع 0 أو 1، بالتالي عليك تحويل القيم النصية إلى 0 و 1 أيضًا.

بعد القيام بهذه العمليات و بافتراض أنك قمت بذلك باستعمال Pandas و أصبح لديك غرضين DataFrame يمثلان البيانات و لكن مع أعمدة متوافقة في الاسم و النوع، يمكنك استعمال الدالة concat لدمجهما.

تحياتي.

تمام جدا جدا 

الف شكراا لحضرتك 

بس سوال هل ممكن استخدمهم كده من غير ما ادمجهم صح ؟

بتاريخ 1 دقيقة مضت قال Ail Ahmed:

تمام جدا جدا 

الف شكراا لحضرتك 

بس سوال هل ممكن استخدمهم كده من غير ما ادمجهم صح ؟

هذا يعتمد على الاستعمال نفسه. في حال كنت تريد تدريب نموذج واحد فقط على كلا الملفين فيجب دمجهما. و هذا هو الاستعمال الشائع. في حال كان لديك استعمال آخر يمكنك ذكره حتى يمكنني إعطاءك جواب دقيق.

تحياتي.

بتاريخ 2 دقائق مضت قال Ail Ahmed:

تمام جدا جدا 

الف شكراا لحضرتك 

بس سوال هل ممكن استخدمهم كده من غير ما ادمجهم صح ؟

نعم، يمكنك استخدام الملفات بدون دمجها في ملف واحد ففي مجال تعلم الآلة، يمكن تحميل البيانات من الملفات المختلفة والعمل عليها بشكل مستقل أو بشكل متكامل وفقا لاحتياجات كل مشروع لكن في النهاية سيتوجب عليك دمجهما في مرحلة معينة من مراحل التدريب لأنك ستعمل على تدريب نموذج بواسطة هاته الملفات فمن الطبيعي أن تتم عملية الدمج.

وأعرض عليك فيما يلي بعض الطرق التي يمكنك استخدامها للعمل مع الملفات بدون دمجها:

• العمل على كل ملف بشكل منفصل: بحيث يمكنك تدريب نموذج على كل ملف بشكل مستقل أو استخدام البيانات من ملف واحد للتحليل والنمذجة.
• دمج البيانات أثناء التدريب: يمكن تحميل كل ملف على حدة والعمل عليهما معا أثناء عملية التدريب باستخدام دمج بيانات معين عند الحاجة، مثل دمج البيانات فقط في مرحلة معينة من التحليل أو النمذجة.
• تقديم البيانات من الملفات المختلفة إلى النموذج: في بعض الحالات، قد تقوم بتدريب النموذج باستخدام البيانات من الملفين بشكل متواز أو تستخدم أحد الملفات كمدخلات والآخر كإخراجات.

شكراا لحضرتكم جدا 

بتاريخ On 13‏/8‏/2024 at 11:15 قال Kais Hasan:

مثال بسيط هناك عمود اسمه ST slope في أحد الملفات و لكن في الملف الآخر اسمه Slope of ST، بالتالي وضوحًا يجب تعديل أحدهما إلى الآخر أو تعديل كليهما إلى اسم مشترك آخر. و هذا ينطبق على بقية الأعمدة، أما في حال وجود أعمدة غير مشتركة فيجب حذفها. 

طيب ازي اقدر اعدل اسم العمدها ؟

بس من غير كتابه الكود بعد اذن حضرتكم عشان عاوز ادور انا 

بتاريخ 5 دقائق مضت قال Ail Ahmed:

طيب ازي اقدر اعدل اسم العمدها ؟

بس من غير كتابه الكود بعد اذن حضرتكم عشان عاوز ادور انا 

بشكل عام عدد الأعمدة لا يكون كبير، و من الأسهل القيام به بشكل يدوي بدل كتابة كود للقيام بذلك، فهو لن يعتمد على أي منطق برمجي، فقط تغيير أسماء. أي ببساطة افتح الملفات و قم بتغيير الأسماء فيها قبل قراءتها في الكود.

تحياتي.

بتاريخ الآن قال Kais Hasan:

بشكل عام عدد الأعمدة لا يكون كبير، و من الأسهل القيام به بشكل يدوي بدل كتابة كود للقيام بذلك، فهو لن يعتمد على أي منطق برمجي، فقط تغيير أسماء. أي ببساطة افتح الملفات و قم بتغيير الأسماء فيها قبل قراءتها في الكود.

تحياتي.

تمام ,

الف شكرااا لحضرتك جدا جدا ؟

بتاريخ On 18‏/8‏/2024 at 20:52 قال Kais Hasan:

بشكل عام عدد الأعمدة لا يكون كبير، و من الأسهل القيام به بشكل يدوي بدل كتابة كود للقيام بذلك، فهو لن يعتمد على أي منطق برمجي، فقط تغيير أسماء. أي ببساطة افتح الملفات و قم بتغيير الأسماء فيها قبل قراءتها في الكود.

تحياتي.

طيب لو سمحت انا عاوز اعمل كجه باستخدم باثيون ازي وهل احفظ الملف بعد كده ؟