طريقة اضافة robot txt علي سكربت

قم بأنشاء ملف robot.txt  و ضع فيه التالي 

User-agent: *
Disallow: /

طبعا هذا الأمر يعني إذا كان الموقع تحت التطوير ولا تريد محركات البحث الوصول إليه تستخدمه.

قم بوضع التالي إذا أردت لمحركات البحث فهرسة موقعك ووصول الزاحف إلى موقعك 

User-agent: *
Disallow:

لو أردت توجيه زاحف لمحرك بحث معين مثل قوقل يجب عليك معرفة اسم الزاحف مثل 

User-agent: Googlebot-Image
Disallow: /images/

طبعا هذه بعض اسماء زواحف محركات البحث 

• Bingbot – Bing
• Googlebot – Google
• Googlebot-Image – Google Images
• Googlebot-News – Google News
• Teoma – Ask

هناك الكثير من الأوامر التي تستطيع إضافتها للملف, يرجى البحث عنها و قرائتها.

يمكنك وضع الملف في المسار الرئيسي في 

public_html

ملف robots.txt عبارة عن ملف نصي عادي يحتوي فقط على قوانين تتبعها محركات البحث لأرشفة الموقع (الأمر عائد إلى محركات البحث بإحترام هذه القوانين أم لا)، لذلك يمكنك عمل هذا الملف بنفسك وكتابة في ما تريد أن تفعله محركات البحث لأرشفه موقعك بطريقة صحيحة وقد وضح ذلك أستاذ @بلال زيادة في إجابته.

ويجب وضع هذا الملف بجانب ملف الـ index الخاص بالموقع (في الغالب في مجلد public_html) ليكون متاحًا من خلال الرابط:

https://www.example.com/robots.txt

وهنا كل خصائص ملف robots.txt مفدمة من جوجل ونصائح لتحسينه والحصول على أقصى إستفادة منه.

يفضل دائمًا أن تضيف ملف sitemap أيضًا إلى ملف robots.txt من خلال وضع الجملة التالية فيه:

Sitemap: https://www.example.com/sitemap.xml