الزحف والأرشفة

قبل أن يفكّر جوجل في ترتيب صفحتك، يجب أولاً أن يكتشفها ويقرأها ويقرّر تخزينها. هذه هي عملية الزحف والأرشفة، وهي البوابة التي لا يمرّ عبرها إلا من يفتحها له بشكل صحيح. كثير من المواقع في السعودية تكتب محتوى ممتازاً لكنه لا يظهر أبداً لأن هناك خللاً في هذه المرحلة. في سبايدرلاب نعالجها كأساس من السيو التقني.

كيف يعمل Googlebot؟

Googlebot هو الروبوت الذي يزحف إلى الويب. يبدأ من روابط يعرفها، يزور الصفحة، يقرأ محتواها وشيفرتها، ثم يتبع الروابط داخلها لاكتشاف صفحات جديدة. لذلك فإن الربط الداخلي القوي ليس مجرد تنظيم، بل هو الطريق الذي يسلكه جوجل لاكتشاف موقعك بالكامل. صفحة لا يشير إليها أي رابط داخلي تُسمّى "صفحة يتيمة" وقد لا يجدها جوجل أبداً. بعد الزحف تأتي مرحلة التصيير (Rendering) حيث ينفّذ جوجل شيفرة الصفحة ليرى محتواها كما يراه الزائر.

من الزحف إلى الفهرس: مرحلتان مختلفتان

من المهم التفريق بين ثلاث مراحل متتالية:

• الاكتشاف: أن يعرف جوجل بوجود الرابط، عبر رابط داخلي أو خريطة موقع XML.
• الزحف: أن يزور Googlebot الرابط فعلاً ويقرأه.
• الأرشفة: أن يقرّر جوجل تخزين الصفحة في فهرسه.

المرور بالزحف لا يعني الأرشفة تلقائياً. جوجل قد يزحف ثم يقرّر عدم الأرشفة إذا رأى المحتوى ضعيفاً أو مكرراً أو بلا قيمة إضافية.

ميزانية الزحف ولمن تهمّ

ميزانية الزحف هي حصيلة عاملين: مدى رغبة جوجل في الزحف لموقعك، وقدرة خادمك على تحمّل الزحف دون بطء. للمواقع الصغيرة والمتوسطة نادراً ما تكون قيداً. أما المتاجر الكبيرة وبوابات الأخبار بآلاف الصفحات، فإدارة الميزانية تصبح حاسمة: لا تريد أن يهدر جوجل زحفه على صفحات فلترة لا نهائية أو نتائج بحث داخلية بينما تنتظر صفحات منتجاتك الجديدة الاكتشاف. سرعة الخادم تؤثر مباشرة هنا، وهي أحد أسباب أهمية تحسين سرعة الموقع.

التحكّم بالفهرسة: noindex وrobots.txt

لديك أداتان مختلفتان تُخلَطان كثيراً:

انتبه لمزلق شائع: إذا حظرت صفحة في ملف robots.txt، فلن يستطيع جوجل قراءة وسم noindex فيها أصلاً. لمنع الأرشفة بشكل موثوق اترك الصفحة قابلة للزحف مع وسم noindex، ولا تحظرها في robots.

قراءة تقارير Search Console

أداة Google Search Console هي مصدرك الرسمي لفهم حالة الأرشفة. تقرير "فهرسة الصفحات" يقسّم صفحاتك إلى مؤرشفة وغير مؤرشفة، ويعطي لكل حالة سبباً: "محظورة بواسطة robots.txt"، "تحمل وسم noindex"، "مكتشفة لكن غير مفهرسة حالياً"، "صفحة بديلة تحمل وسماً أساسياً صحيحاً". راجع هذا التقرير دورياً، واستخدم أداة "فحص عنوان URL" لطلب أرشفة صفحة مهمة جديدة أو للتأكد من كيفية رؤية جوجل لها.

قائمة فحص الزحف والأرشفة

• كل صفحة مهمة يشير إليها رابط داخلي واحد على الأقل.
• خريطة موقع XML محدّثة ومقدّمة في Search Console.
• لا وسوم noindex غير مقصودة على صفحات مهمة.
• robots.txt لا يحظر موارد أساسية أو صفحات تريد أرشفتها.
• تقرير فهرسة الصفحات خالٍ من الأخطاء الحرجة.

صحة الزحف والأرشفة هي الفارق بين محتوى يعمل ومحتوى مدفون. إذا كانت صفحاتك لا تظهر رغم جودتها، احصل على تدقيق سيو من سبايدرلاب يكشف كل عائق فهرسة في موقعك ويعيد صفحاتك المهمة إلى نتائج البحث.