تحديد عدد العناقيد في K-means

مرحبًا علي،

هناك العديد من الطرق لتحديد عدد العناقيد clusters، أحد هذه الطرق هي ما يسمى بطريقة المرفق elbow و هي موضحة في الصورة التالية:

يتم تطبيقها عن طريق تطبيق خوارزمية k-means بعدد عناقيد مختلف كل مرة، كما تلاحظ في الصورة تم تطبيق ذلك ب 1 و 2 ... إلى ال 9..

بعد ذلك نجد المرفق للخط البياني.

سبب نجاح هذه الطريقة هو أنه كما تلاحظ، زيادة عدد العناقيد إلى أكثر من 3 لم يقلل من الخطأ بشكل ملحوظ، و بالتالي في الغالب أنه لا يوجد فعليًا 4 عناقيد، و إلا كان الخطأ قد قل بشكل كبير.

طبعًا ليس من الضروري رسم البيان يمكنك فقط طباعة قيمة الخطأ من أجل تجربة (بعدد عناقيد مختلف) و ملاحظة متى يتوقف الخطأ عن النزول بشكل كبير مع زيادة عدد العناقيد.

بالتالي هذه الطريقة نفسها يمكنك أتمتتها، حيث يمكنك تحديد عتبة معينة لتغير الخطأ، في حال لم يتغير على الأقل بمقدار هذه العتبة توقف العملية و تحدد عدد العناقيد الأمثل بآخر قيمة سببت نزول بشكل ملحوظ.

تحياتي.

لا تحدد خوارزمية K-means بشكل تلقائي عدد العناقيد المثالي في مجموعة البيانات، بل يعتمد التحديد على فهمك للبيانات واحتياجاتك من التحليل.

والطرق المتاحة لتحديد عدد العناقيد منها طريقة الكوع Elbow Method، وهي الطريقة الأكثر شيوعًا لتحديد عدد العناقيد.

حيث تقوم بتحليل المخططات، من خلال رسم مخططًا يوضح مجموع مربعات المسافات داخل العناقيد (WCSS) مقابل عدد العناقيد (K)،  ويكون انحناء المخطط عند نقطة معينة (الكوع) هو أفضل عدد من العناقيد.

تتضمن حساب مجموع البعد المربع للبيانات بالنسبة لعدد متزايد من العناقيد، ويتم اختيار العدد الذي يظهر به الانحناء (كما لو كان “كوع”) في منحنى البعد، ويعتبر ذلك العدد هو العدد المناسب للعناقيد.

لديك أيضًا طريقة الانحدار Silhouette Score وتستند إلى قياس مدى تمازج العناقيد الداخلية وفصلها عن العناقيد الأخرى.

من خلال حساب معامل السيلويت لكل نقطة في البيانات، ثم حساب المتوسط لجميع النقاط للحصول على معامل السيلويت الإجمالي، ثم استخدام ذلك المعامل لتحديد عدد العناقيد الأمثل.

بتاريخ 5 دقائق مضت قال Kais Hasan:

مرحبًا علي،

هناك العديد من الطرق لتحديد عدد العناقيد clusters، أحد هذه الطرق هي ما يسمى بطريقة المرفق elbow و هي موضحة في الصورة التالية:

يتم تطبيقها عن طريق تطبيق خوارزمية k-means بعدد عناقيد مختلف كل مرة، كما تلاحظ في الصورة تم تطبيق ذلك ب 1 و 2 ... إلى ال 9..

بعد ذلك نجد المرفق للخط البياني.

سبب نجاح هذه الطريقة هو أنه كما تلاحظ، زيادة عدد العناقيد إلى أكثر من 3 لم يقلل من الخطأ بشكل ملحوظ، و بالتالي في الغالب أنه لا يوجد فعليًا 4 عناقيد، و إلا كان الخطأ قد قل بشكل كبير.

طبعًا ليس من الضروري رسم البيان يمكنك فقط طباعة قيمة الخطأ من أجل تجربة (بعدد عناقيد مختلف) و ملاحظة متى يتوقف الخطأ عن النزول بشكل كبير مع زيادة عدد العناقيد.

بالتالي هذه الطريقة نفسها يمكنك أتمتتها، حيث يمكنك تحديد عتبة معينة لتغير الخطأ، في حال لم يتغير على الأقل بمقدار هذه العتبة توقف العملية و تحدد عدد العناقيد الأمثل بآخر قيمة سببت نزول بشكل ملحوظ.

تحياتي.

تمام جدا والف شكرااا لحضرتك

بس ان فهم التكنيك ده 

ولكن انا بسال هل الخورزميه هي نفسيه ممكن تحديد عدد العناقيد بشكل من غير ما اخل انا

بتاريخ 2 دقائق مضت قال Mustafa Suleiman:

لا تحدد خوارزمية K-means بشكل تلقائي عدد العناقيد المثالي في مجموعة البيانات، بل يعتمد التحديد على فهمك للبيانات واحتياجاتك من التحليل.

 

تمام انا اقصد كده 

شكراا لحضرتكم جدا

بتاريخ 1 دقيقة مضت قال Ail Ahmed:

تمام جدا والف شكرااا لحضرتك

بس ان فهم التكنيك ده 

ولكن انا بسال هل الخورزميه هي نفسيه ممكن تحديد عدد العناقيد بشكل من غير ما اخل انا

الخوارزمية محددة بشكل مسبق، و الدخل الخاص بها هو البيانات و عدد العناقيد، بالتالي الخوارزمية نفسها لا تستطيع القيام بذلك وضوحًا فهي تعتمد على الدخل في عملها. أي تعديل عليها لن تصبح تمامًا كما هي.

بالتالي اعتبر طريقة الكوع elbow عبارة عن خوارزمية أخرى مبنية على ال k-means.

بتاريخ 1 دقيقة مضت قال Kais Hasan:

الخوارزمية محددة بشكل مسبق، و الدخل الخاص بها هو البيانات و عدد العناقيد، بالتالي الخوارزمية نفسها لا تستطيع القيام بذلك وضوحًا فهي تعتمد على الدخل في عملها. أي تعديل عليها لن تصبح تمامًا كما هي.

بالتالي اعتبر طريقة الكوع elbow عبارة عن خوارزمية أخرى مبنية على ال k-means.

شكراا جدا يا أ.قيس