ملف robots.txt

ملف robots.txt هو ملف نصي بسيط يوضع في جذر موقعك، وهو أول ما تقرأه روبوتات البحث قبل أن تزحف إلى أي صفحة. رغم بساطته، فإنه أداة قوية في السيو التقني للتحكم في سلوك الزواحف، وسطر واحد خاطئ فيه قادر على حجب موقعك بالكامل عن جوجل. لهذا نتعامل معه في سبايدرلاب بحذر شديد.

ما هو ملف robots.txt وكيف يعمل؟

عندما يصل Googlebot إلى موقعك، يطلب أولاً الرابط example.com/robots.txt. يقرأ التعليمات المكتوبة فيه، ثم يقرر أي مسارات يُسمح له بزيارتها وأيها يتجنبها. الملف يتبع بروتوكولاً معيارياً يُدعى Robots Exclusion Protocol تحترمه محركات البحث الكبرى.

من المهم فهم أن الملف يوجّه سلوك الزحف فقط، وليس أداة أمان ولا وسيلة مضمونة لإخفاء صفحة من النتائج.

بنية الملف وقواعده الأساسية

يتكوّن الملف من مجموعات، كل مجموعة تبدأ بتحديد الروبوت المستهدف ثم القواعد الخاصة به:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

• User-agent: يحدد الروبوت المقصود. النجمة * تعني كل الروبوتات.
• Disallow: يمنع الزحف إلى مسار معيّن. سطر Disallow: / يحجب الموقع بأكمله.
• Allow: يستثني مساراً فرعياً من قاعدة Disallow أوسع.
• Sitemap: يشير إلى خريطة الموقع XML ليكتشفها الروبوت بسهولة.

توجيهات الزحف والتحكم في ميزانية الزحف

الفائدة الأكبر من robots.txt للمواقع الكبيرة هي حماية ميزانية الزحف (Crawl Budget). المتاجر السعودية الكبيرة تولّد آلاف روابط الفلترة والفرز والبحث الداخلي التي لا قيمة لها في نتائج جوجل. حجب هذه المسارات يوجّه الروبوت نحو صفحاتك المهمة بدل إهدار وقته.

أمثلة نطبّقها عادة:

• حجب صفحات نتائج البحث الداخلي مثل /?s=.
• حجب معاملات الفرز والفلترة عديمة القيمة.
• حجب ملفات النظام والمجلدات المؤقتة.

للتفاصيل الكاملة حول كيفية إدارة الزواحف، راجع صفحة الزحف والأرشفة.

robots.txt مقابل noindex: فرق جوهري

يخلط كثيرون بين الأداتين، والفرق حاسم:

القاعدة الذهبية: إذا أردت إخفاء صفحة من النتائج، استخدم noindex ولا تحجبها في robots.txt. لأنك إن حجبتها، لن يستطيع جوجل الزحف إليها ليقرأ وسم noindex أصلاً، فقد تبقى ظاهرة بلا وصف.

أخطاء شائعة تدمّر أرشفتك

هذه الأخطاء نكتشفها كثيراً في تدقيقاتنا، وبعضها كارثي:

• Disallow: / منسي بعد إطلاق الموقع: يحجب الموقع بالكامل، وهو خطأ شائع ينتقل من بيئة التطوير.
• حجب ملفات CSS وJavaScript: يمنع جوجل من عرض الصفحة بشكل صحيح فيتأثر تقييمها.
• الاعتماد على robots.txt للأمان: الملف عام يراه الجميع، فلا تكشف فيه مساراتك الحساسة.
• حجب صفحة ثم إضافة noindex لها: تناقض يمنع جوجل من رؤية noindex.
• نسيان سطر Sitemap: فرصة ضائعة لتسريع اكتشاف خريطتك.

اختبار الملف والتحقق منه

قبل اعتماد أي تغيير، اختبر ملفك عبر أداة اختبار robots.txt أو تقارير Google Search Console. تحقّق أن صفحاتك المهمة غير محجوبة، وأن المسارات التي تريد حجبها فعلاً محجوبة. خطأ صغير هنا قد لا يظهر أثره إلا بعد أسابيع من فقدان الأرشفة.

ملف robots.txt سليم هو جزء من صورة تقنية أكبر. للتأكد أن موقعك في السعودية خالٍ من هذه الأخطاء، احصل على تدقيق سيو شامل من فريق سبايدرلاب، أو تواصل معنا لمراجعة إعدادات الزحف على موقعك.