Softonic

أداة فحص ملف robots.txt

خطوة 1 / 3
التالي

الصق قواعد ملف robots.txt الخاص بك ومسار URL الذي تريد اختباره، وستقرأ الأداة سطور Allow وDisallow لتخبرك بما إذا كان هذا المسار سيُحظر أو يُسمح به. مفيد عندما تختفي صفحة فجأة من نتائج بحث جوجل وتريد التأكد مما إذا كانت قاعدة Disallow صارمة أكثر من اللازم هي السبب، أو عندما تكتب قواعد جديدة وتريد التحقق من مسار قبل نشر الملف.

كيف يعمل أداة التحقق؟

  1. 1

    الصق قواعدك

    انسخ سطور Allow وDisallow من ملف robots.txt الخاص بك إلى الحقل، أو اكتب سطورًا جديدة لتجربتها.

  2. 2

    أدخل مسارًا لاختباره

    اكتب مسار URL الذي تريد فحصه، مثل /private/page. استخدم المسار فقط وليس النطاق الكامل.

  3. 3

    تحقق من القاعدة

    تفحص الأداة سطور Allow وDisallow وتجد القاعدة التي تطابق المسار الذي أدخلته.

  4. 4

    اقرأ النتيجة

    تحصل على عدد القواعد التي تم العثور عليها، والمسار الذي تم اختباره، والقرار: مسموح به افتراضيًا، أو محظور بواسطة Disallow، أو مسموح به بواسطة Allow.

ملف robots.txt الصحيح بأدنى حد ممكن

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /draft/
Sitemap: https://example.com/sitemap.xml
  • وكيل المستخدم: *. ينطبق على أي برنامج استكشاف لم يتم ذكره بشكل صريح في كتلة أخرى.
  • السماح ب:/**. كل ما هو مسموح به بشكل افتراضي.
  • Disallow: /admin/. مجلد المسؤولين غير متاح للوصول إليه.
  • خريطة الموقع: تُخبر محركات البحث مكان وجود خريطة الموقع بصيغة XML.

قواعد يلتزم بها جوجل بوت فعليًا

محلل جوجل هو المعيار القياسي الفعلي لتفسير القواعد الغامضة:

    • مسارات حساسة للحروف الكبيرة والصغيرة: /Admin/ و/admin/ مختلفان.
  • النتيجة في المطابقة الأطول هي الفائزة: يتفوق Allow: /admin/public/ على Disallow: /admin/ عند استخدام عنوان URL يبدأ بـ /admin/public/.
  • الرموز العشوائية (Wildcards): يتطابق * مع أي تسلسل من الحروف؛ بينما يرتبط $ بنهاية عنوان URL.
  • تبدأ التعليقات برمز #.
  • مستقل عن ترتيب التنفيذ: تُقيَّم القواعد بناءً على درجة التخصص (طول المسار)، وليس وفق ترتيب إدراجها.

الأخطاء الشائعة

الخطأ التأثير
Disallow: / في الأعلى، بدون السماح تم حظر الموقع بأكمله
Disallow: *.pdf تتجاهل العديد من محاليل النصوص هذا الخيار؛ استخدم Disallow: /*.pdf$
عنوان URL نسبي أو مطلق ضمن خيار “منع استخدامه” يتم تجاهله؛ يجب أن تكون المسارات نسبية
عدة سلالات من نوع User-agent قبل تطبيق القواعد يتم دمجها معًا، وتُطبَّق القواعد على جميع وكلاء المستخدم المدرجة
الفراغات المتبقية على المسارات تُعامل بشكل خفي كمسار مختلف
وضع ملف robots.txt في مجلد فرعي يتم استرجاع الملف الموجود في نطاق الجذر فقط

robots.txt مقابل noindex

يُوجِّه ملف robots.txt الآلات المستخدمة في فحص المواقع إلى عدم استرجاع عنوان URL معين. قد تظل صفحة مُفَحَّصَة مسبقًا ثم حُظرت في هذا الملف مؤشرة على وجودها لعدة أشهر، مما يمنع الآلة من استرجاعها للتأكد من إزالتها. إذا كنت ترغب في إزالة الصفحة من الفهرس، فاستخدم علامة ميتا noindex أو رأس HTTP مباشرة على الصفحة، وسمح للآلة بالكشف عنها.

تأخير التصفح (Crawl-delay)

يطلب Crawl-delay: 10 فاصلًا زمنيًا قدره 10 ثوانٍ بين الطلبات؛ تتجاهلها جوجل (استخدم واجهة Search Console لضبط معدل التصفح)، بينما تحترمها كل من بينغ ويانيكس وبعض أدوات التصفح المتخصصة. استخدم هذا الإجراء للمواقع الصغيرة التي تتعرض لضغط ناتج عن أجهزة تصفح متخصصة.

ما الذي لا يقوم به أداة “Disallow”؟

    • منع ربط الموقع بالعنوان المحدد: يمكن لمواقع أخرى أن تربط معه، لكن هذا العنوان لن يظهر في نتائج البحث إلا بعنوانه فقط (بدون عنوان أو وصف).
  • منع عرض الصفحة. يمكن للمستخدمين مع ذلك زيارة عنوان URL المحظور.
  • عدم عرض عنوان URL للجمهور: ملف robots.txt علني؛ وذكر المسارات السرية فيه يُعرّضها للنشر أو الترويج لها.

الأسئلة الشائعة

لأن هذه الإجراءات تمنع تنقّب الكتل، وليس فهرستتها. إذا كانت جوجل تعرف بالفعل عنوان URL (من الروابط أو خريطة الموقع)، فقد تحتفظ به في نتائج البحث. استخدم علامة noindex على الصفحة وسمح لجوجل باسترجاعها للتأكد من إزالتها.

نعم. استخدم كتلة User-agent: BadBot مع قواعده الخاصة بها. لاحظ أن الروبوتات غير المطابقة للقواعد تتجاهل ملف robots.txt تمامًا؛ فقط الروبوتات المطابقة لها هي التي تحترمه.

لا، ملف robots.txt علني؛ فعرضه يُشير إلى موقع الموقع. استخدم بدلاً من ذلك نظام مصادقة وتحكم في الوصول على مستوى الخادم.

نعم، بالنسبة للمسارات؛ فـ Disallow: /Admin/ لا يحجب /admin/. تأكد من مطابقة هيكل عناوين URL الخاصة بك بدقة.

نعم. أضف عدة سطور من نوع Sitemap: لتشير إلى خرائط مواقع XML منفصلة أو إلى فهرس خرائط المواقع.

أدوات ذات صلة

أداة استخراج الروابط الداخلية

استخرج جميع الروابط الداخلية من عنوان URL أو من كود HTML ملصق، مع نص الرابط وسمات rel وحالة nofollow لأغراض تدقيق تحسين محركات البحث (SEO).

جهاز اختبار متوافق مع الهواتف المحمولة

قم بفحص سهولة استخدام عنوان URL على الأجهزة المحمولة؛ حيث يتم عرض الصفحة بأحجام شاشات الهواتف، ويتم تحديد أي مشاكل تتعلق بنقاط النقر، أو نصوص صغيرة جدًا، أو غياب بيانات ميتا الخاصة بحجم العرض.

مولد مخطط الأسئلة الشائعة (FAQ Schema)

قم بتوليد ترميز JSON-LD من نوع FAQPage من أزواج الأسئلة والأجوبة، للتأهل للنتائج الغنية في جوجل وللظهور في مربعات الإجابات.

محاكي نتائج بحث Google

عاين مقتطفًا تقريبيًا بأسلوب Google بحدود أحرف للهاتف وسطح المكتب. تبقى مسودتك في جلسة المتصفح.

أداة فحص طول الوصف الوصفي

قِس الوصف التعريفي بالأحرف والبكسلات التقديرية، وقارنه بمؤشرات تحريرية، وراجع نماذج توضيحية لسطح المكتب والهاتف.

مفكّك مختصرات الروابط

وسّع روابط bit.ly و t.co و tinyurl وغيرها. شاهد كل قفزة إعادة توجيه ورمز حالة والوجهة النهائية قبل أن تنقر.

الأداة متاحة بلغات أخرى