عندما تقوم باختبار عنوان URL قياسا على ملف robots.txt، سوف تشاهد إحدى النتائج التالية:
- مسموح به— سوف يقوم Googlebot بالزحف إلى عنوان URL.
- ممنوع— لن يقوم Googlebot بالزحف إلى عنوان URL.
- ليس ضمن النطاق— عنوان URL هذا غير موجود على نفس النطاق الموجود به ملف robots.txt وبالتالي فلا يمكنك منعه.
- النبية غير مفهومة— Googlebot لم يتعرف عليه كعنوان URL صالح.
علاوة على ذلك، قد تشاهد الرسائل التالية:
- لقد اكتشفنا أنه دليل؛ قد يكون هناك قيود مختلفة لملفات محددة— رغم أن هذا الدليل قد يكون ممنوعا أو مسموحا به، فقد يكون هناك قواعد أخرى أكثر تحديدا في الملف تمنع أو تسمح بعناوين URL في هذا الدليل، لذلك ربما يجب عليك التحقق من هذه القواعد أيضا.
إذا وجد Googlebot صعوبة في فهم أجزاء من ملف robots.txt الخاص بك، فسوف تشاهد إحدى نتائج التحليل التالية، والتي يجب عليك إصلاحها:
- مقبول ولكن يجب أن تكون Disallow— لقد أخطأت في تهجئة كلمة "Disallow."
- مقبول ولكن يجب أن تكون User-agent— لقد أخطأت في تهجئة كلمة "User-agent."
- مقبول، ولكن البنية الصحيحة تحتوي على علامة النقطتين (القاعدة: المسار)— لقد نسيت أن تضع نقطتين بين كلمة "Allow" أو "Disallow" والمسار.
- قاعدة يتجاهلها Googlebot— هذه القاعدة لا يتبعها Googlebot (مثل "Crawl-delay" أي "تأجيل الزحف").
- وكيل المستخدم غير محدد— لديك قواعد لا ترتبط بوكيل مستخدم.
- النبية غير مفهومة— Googlebot لا يفهم هذا السطر.
- يبدو أن ملف robots.txt غير صالح— Googlebot لا يفهم أي جزء من هذا الملف وبالتالي لا يتعرف عليه كملف robots.txt صالح.
رخصة النشر (Syndication)