كما ذكرنا في المقال السابق تحسين محركات البحث SEO وأهميته لموقعك الإلكتروني تؤرشف محركات البحث معظم محتوى الإنترنت (صفحات، ملفات، صور، مقاطع فيديو ..إلخ) وهي موجودة لاكتشاف هذا المحتوى وفهمه وترتيبه بهدف تقديم النتائج الأفضل لأي استعلام بحث.
ولكي تكتشف محركات البحث صفحات موقعك يجب أن تكون تلك الصفحات مرئية بالنسبة لها ومسموح لعناكب هذه المحركات بالدخول إليها، وهذا أمر يغفل عنه الكثير من أصحاب المواقع.
كيف تعمل محركات البحث؟
يمكن تقسيم مراحل عمل محركات البحث إلى ثلاث مراحل وهي:
- الزحف Crawling: يبحث محرك البحث في كل محتوى الإنترنت المتاح وفي كل عنوان URL موجود مسموح الدخول له.
- الفهرسة Indexing: تخزين وتنظيم المحتوى أثناء عملية البحث وبمجرد أن نقول عن صفحة أنها مفهرسة أي أنها موجودة في محرك البحث ويمكن عرضها كنتيجة لاستعلام بحث ما.
- الترتيب Ranking: وهي مرحلة ترتيب المحتوى الذي تمَّ فهرسته لتقديمه للباحث، أي تعمل محركات البحث على ترتيب صفحات المواقع ومقالاته من الأكثر صلة إلى الأقل صلة لكل استعلام بحث يُبحث عبرها.
وكمثال نستعرض فيما يلي آلية عمل محرك البحث جوجل:
الزحف
في هذه العملية يُرسل جوجل عددًا من الروبوتات Googlebot والتي تسمى أيضًا الزواحف Crawling أو العناكب Spiders لاكتشاف كل محتوى جديد أو محدث ويتم اكتشاف المحتوى من خلال رابطه URL دون النظر إلى تنسيق المحتوى أو جودته.
تجلب عناكب جوجل بعض صفحات المواقع الإلكترونية ويتم تتبع كل الروابط الموجودة داخل هذه الصفحات للبحث عن عناوين URL جديدة واكتشافها وإضافتها إلى فهرس جوجل الضخم والذي يُدعى Caffeine وهو يمثل قاعدة بيانات ضخمة لتخزين كل عناوين URL المكتشفة.
الفهرسة
الفهرس هو المكان الذي يتم فيه تخزين صفحاتك المكتشفة حيثُ يعالج جوجل كل عناوين URL التي تمَّ اكتشافها ويقوم بتحليلها وتخزين ما هو جيد منها فقط في فهرس ضخم جدًا، لذا كما سنرى في هذا المقال من الضروري التأكد لاحقًا أنَّ موقعك يتم اكتشافه وتخزينه بالفعل في فهرس جوجل.
ترتيب النتائج
عندما يقوم شخص بإجراء بحث ما يمسح جوجل الفهرس بحثًا عن المحتوى الأكثر صلة باستعلام الباحث لتقديم نتيجة البحث الأفضل له.
وكلما تمَّ ترتيب موقعك أعلى نتائج البحث في جوجل لاستعلام بحث ما هذا يعني أنَّ موقعك أكثر صلة بهذا الاستعلام ومرتبط به بشكلٍ كبير.
وأخيرًا ما يهمك أنت كصاحب موقع إلكتروني أو متجر هو التأكد أنَّ عناكب جوجل اكتشفت بالفعل صفحات موقعك ومقالاتك واستطاعت الدخول إليها وفهرستها في فهرس جوجل.
تنويه: يمكنك منع عناكب جوجل من الدخول إلى بعض روابط الموقع كصفحة تسجيل الدخول أو الصفحات الفارغة وغيرها لعدم وجود فائدة من فهرستها.
كيف تعثر محركات البحث على صفحات موقعك؟
بعد شرح آلية عمل جوجل يتبادر إلى ذهنك الآن السؤال الأهم هل صفحات موقعي الإلكتروني متاحة لعناكب جوجل وتستطيع بالفعل اكتشافها وفهرستها!
أفضل طريقة لاكتشاف ذلك هو البحث في جوجل بالعبارة التالية: site:yourdomain.com لكن استبدل كلمة yourdomain بالمجال Domain الخاص بموقعك الإلكتروني.
وسيعرض محرك البحث جوجل كامل صفحات موقعك التي تمَّ اكتشافها وفهرستها للمجال الذي بحثت فيه.
وفي الصورة التالية استبدلنا yourdomain.com بـ https://academy.hsoub.com/.
طريقة البحث هذه تعطيك نتيجة تقريبية عن صفحات موقعك المؤرشفة وكيفية ظهورها في محرك البحث جوجل ودائمًا يُنصح بالحصول على نتائج أكثر دقةً من أداة مشرفي المواقع من جوجل Google Search Console وهي أداة مجانية من جوجل لمالكي المواقع لمراقبة أرشفتها وكيفية ظهورها في محرك البحث جوجل خصصنا لها مقال مع خريطة الموقع (رابط المقال) وإن أردت الاستزادة اطلع على المقال Google Search Console – الملف الكامل.
يمكنك باستخدام أداة مشرفي المواقع من جوجل إرسال خريطة Site Map الخاصة بموقعك ومراقبة عدد الصفحات المرسلة والمؤرشفة بالفعل في فهرس جوجل وكيفية ظهورها في نتائج البحث وأكثر عبارات البحث صلة بها. إن أردت الاستزادة اطلع على المقال كل ما تحتاج إلى معرفته عن خريطة الموقع sitemap.
ولن نشرح هنا ما هي خريطة الموقع أو أداة مشرفي المواقع من جوجل لأنَّ المحتوى الموجود في المقالتين أعلاه كافي وسنذكر ما هو مفيد أكثر في مقالنا هذا.
إن لم تكن تظهر في محرك البحث فهذا نتيجة أحد الأسباب:
- موقعك جديد ولم تكتشفه زواحف جوجل بعد.
- لا يملك موقعك أي روابط خلفية تُشير إليه (يجب وضع رابط مقال الروابط الخلفية الذي سينجز لاحقًا) وبالتالي من الصعب اكتشافه.
- يحتوي الموقع على بعض التعليمات البرمجية التي تمنع وصول زواحف جوجل إلى صفحاته وأرشفتها.
- التنقل في الموقع صعب وبعض الروابط مخفية.
- تمت معاقبة الموقع من جوجل نتيجة بعض الممارسات غير السليمة.
ضبط عملية زحف عناكب محركات البحث لصفحات الموقع
إن استخدمت الطريقة السابقة في معرفة الصفحات التي تمت فهرستها بالفعل ولكن اكتشفت وجود بعض الصفحات غير مهمة ولا تريد دخول عناكب جوجل لها مرة أخرى وفهرستها، هنا عليك إخبار جوجل بما يجب الزحف إليه وفهرسته وما لا يجب الوصول إليه. وهذا سيمنحك تحكمًا أقوًى في فهرس موقعك وتواجده في جوجل.
من المهم منع جوجل من الوصول إلى الصفحات الغير مهمة والمكررة مثل صفحة تسجيل الدخول وصفحات البحث وترشيح المنتجات وبالتالي عليك استخدام ملف Robots.txt.
ملف الروبوتس Robots.txt
يفترض أن يتواجد هذا الملف في ملف الجذر لموقعك الإلكتروني (يتواجد بشكل افتراضي في مواقع الووردبريس بمجرد تنصيب أي إضافة SEO ويتبقى عليك تعديله بحسب صفحات موقعك، ولكن في مواقع البرمجيات المخصصة يجب إنشاؤه يدويًا).
تأكد من وجوده في موقعك الإلكتروني بالدخول للرابط: yourdomain.com/robots.txt لكن استبدل yourdomain.com برابط موقعك الإلكتروني.
ويمكنك في هذا الملف تأكيد ما يمكن الوصول إليه وما لا يمكن لعناكب محركات البحث، فهو أول ملف تدخله عناكب البحث في الموقع الإلكتروني وإن لم تجده تقوم بالدخول لكامل روابط الموقع المهمة وغير المهمة وفهرستها.
وإن عثرت عليه عناكب محركات البحث فإنها تلتزم بما هو مسموح لها دخوله وما هو ممنوع في موقعك الإلكتروني، ويتم تحديد ما هو مسموح وغير مسموح من خلال تعليمات Allow و Disallow
لاحظ الصورة التالية أثناء تحرير ملف الروبوتس لموقع ووردبريس والذي تمَّ إنشاءه من قبل إضافة Yoast SEO
حيث تمَّ منع دخول عناكب محركات البحث إلى بعض الصفحات المحددة بالتعليمة Disallow.
والآن بعد أن استطعت منع وصول محركات البحث إلى الصفحات غير المفيدة أو المكررة اسأل نفسك بعض الأسئلة التالية:
هل تستطيع عناكب جوجل الوصول إلى صفحات موقعك الإلكتروني المهمة؟
تعرفت في ملف الروبوتس على كيفية منع وصول عناكب محركات البحث إلى الصفحات التي لا تريدها لكن ماذا عن الصفحات المهمة التي نريد أرشفتها وهنا يجب التأكد أنَّ عناكب جوجل تستطيع بالفعل الوصول إلى كامل الصفحات المهمة وليس فقط الصفحة الرئيسية أي هل تستطيع بالفعل عناكب البحث التنقل في موقعك الإلكتروني بسلاسة وليس فقط العثور عليه!
هل المحتوى أو الصفحة مخفية وراء نموذج تسجيل دخول؟
إذا كانت الصفحة تطلب تسجيل دخول أو ملء نموذج معلومات فلن تستطيع محركات البحث الدخول إليها وعلى سبيل المثال عناكب جوجل لن تستطيع الوصول لها لأنها مقيدة الوصول.
لماذا يجب استثناء صفحات البحث؟
يعتقد بعض أصحاب المواقع أن وضع نموذج بحث في الرئيسية أو صفحة بحث ما أنَّ جوجل تستطيع الوصول إلى كل ما يبحث عنه الزوار وأرشفته لكن هذا غير صحيح ولا تستطيع عناكب جوجل البحث في مربعات البحث للوصول إلى الصفحات المهمة.
ولذلك يتم منع عناكب جوجل من صفحات البحث لكي لا يراها صفحات فارغة لا تقدم أي فائدة للمستخدمين. وبالتالي تؤثر على ترتيب الموقع ككل.
هل المحتوى النصي الموضوع في وسائط غير نصية مخفي أيضًا؟
لا يجب استخدام نماذج غير نصية (صور، فيديو، ملفات pdf ..إلخ) لعرض محتوى نصي ضمنها، ورغم تحسن محركات البحث في تحليل واكتشاف محتوى الصور إلا أنَّ ذلك غير كافي ومن الأفضل الإبقاء على النص ضمن أكواد html في صفحات موقعك الإلكتروني.
هل هيكلية موقعك الإلكتروني تسمح لمحركات البحث بالتنقل بين الصفحات بسلاسة؟
كما ذكرنا أعلاه تكتشف محركات البحث الروابط الجديدة من الصفحات المحفوظة في فهرسها الضخم، وكذلك الأمر بالنسبة لموقعك الإلكتروني يجب أن تجد جوجل روابط صفحاتك المهمة بمجرد الوصول إلى موقعك الإلكتروني لذا تأكد من وجودها بطريقة تُرشد عناكب الزحف من صفحة إلى أخرى.
يرتكب بعض أصحاب المواقع أخطاء فادحة في تواجد صفحات مهمة في مواقعهم الإلكترونية لكن لا تُشير الرئيسية أو أي صفحة أخرى إلى هذه الصفحات المهمة لذا تبدو هذه الصفحات غير مرئية بالنسبة إلى محركات البحث.
تخيل أنّك تقدم خدمة ما مهمة وتريد ظهورها في محركات البحث لكن لا تضع رابط الخدمة في أعلى الموقع أو في الصفحة الرئيسية أو أي صفحة مهمة أخرى! كيف ستجد عناكب محركات البحث تلك الخدمة أو الصفحة؟
تحليل الموقع وعملية فهرسته وزحف العناكب عليه
بحكم خبرتي في مجال عمل محركات البحث والسيو أرى أنَّ أداة مشرفي المواقع من جوجل هي كنز حقيقي لكل من يريد تحليل موقعه الإلكتروني ومعرفة الصفحات المهمة وغير المهمة واكتشاف ما تمَّ فهرسته والأخطاء التقنية للموقع والتوافق مع الجوال وتجربة المستخدم والسرعة وأخطاء الزحف إن وجدت.
وسنُخصص لها المقال الثامن في سلسلتنا لشرح كيفية استخدام هذه الأداة بشكلٍ احترافي.
ولفهم أخطاء الزحف التي تعود بها عناكب جوجل أحيانًا لبعض الصفحات لا بدَّ من معرفة بعض دلالات رموز الأخطاء.
- أخطاء 4xx: لتبسيطها هي الأخطاء التي تحدث من جهة العميل بالنسبة لجوجل أي من الموقع الإلكتروني وأكثرها شيوعًا الخطأ 404 وهذا يعني أنَّ الصفحة غير موجودة أي إما تمَّ تغيير عنوان URL دون إعادة توجيه العنوان القديم للجديد أو تمَّ حذف الصفحة.
- أخطاء 5xx: هي الأخطاء التي تحدث من جهة الخادم أي فشل الخادم في تلبية طلب عناكب محركات البحث وبالتالي أعادت لنا الخطأ 5xx.
- كود 301: هذا ليس خطأ بل يُشير إلا أنَّه تم إعادة توجيه الصفحة المطلوبة بشكل دائم إلى رابط جديد.
خاتمة
ألقينا نظرة مختصرة جدًا على آلية عمل محركات البحث ورأينا كيف تعمل محركات البحث وفي مقدمتها جوجل وكيفية ترتيب نتائج صفحات المواقع الإلكترونية. كما ألقينا نظرة موسعة على بعض الأساسيات المهمة عند بناء الموقع الإلكتروني وهيكليته وسنتعرف في المقال القادم على كيفية استخراج أفضل الكلمات المفتاحية المناسبة لموقعك الإلكتروني.
أفضل التعليقات
لا توجد أية تعليقات بعد
انضم إلى النقاش
يمكنك أن تنشر الآن وتسجل لاحقًا. إذا كان لديك حساب، فسجل الدخول الآن لتنشر باسم حسابك.