أداة إنشاء ملف robots.txt + أداة توليد تلقائي لبلوجر ووردبريس
ملف robots.txt هو ملف نصي صغير يُوضع في الجذر الرئيسي لموقعك الإلكتروني، ويُستخدم لتوجيه عناكب محركات البحث (مثل Googlebot) حول الصفحات والمجلدات التي يجب أو لا يجب فهرستها. وجود هذا الملف لا يضمن الفهرسة أو الحماية، لكنه يُعد من عناصر تحسين محركات البحث (SEO) الأساسية.
ما هي فائدة ملف robots.txt؟
- تحديد الصفحات التي لا تريد لمحركات البحث فهرستها.
- توفير موارد الزحف من خلال منع الوصول للمحتوى غير المفيد.
- تحديد موقع خريطة الموقع (Sitemap).
شرح عناصر ملف robots.txt:
User-agent: * → يشير إلى أن التعليمات التالية موجهة لكل عناكب البحث. Disallow: /search?updated-min Disallow: /search?updated-max → تمنع جوجل من فهرسة نتائج البحث المؤرشفة حسب التواريخ، والتي لا قيمة لها SEO. Disallow: /search/label/*?updated-min Disallow: /search/label/*?updated-max → تمنع فهرسة تصنيفات بلوجر المرتبطة بتواريخ محددة. Allow: / → يسمح بفهرسة جميع الصفحات الأخرى في الموقع. Sitemap: https://www.example.com/sitemap.xml → يخبر محركات البحث بمكان وجود خريطة الموقع، لتسريع فهرسة المحتوى.
🛠️ أداة توليد ملف robots.txt لموقعك
يمكنك نسخ الملف ولصقه داخل إعدادات robots.txt في أدوات مشرفي المواقع