Softonic

مولد ملفات robots.txt

خطوة 1 / 2
التالي

حدّد الزاحف الذي تستهدفه، وأدرج المسارات التي تريد حظرها وتلك التي تريد السماح بها، وأضف Crawl-delay اختياريًا، وأشر إلى خريطة موقعك، وسيجمع المولد ملف robots.txt منسقًا بشكل صحيح يمكنك نسخه ونشره. يتولى تنسيق الأسطر وعلامات الترقيم بدقة حتى لا تضطر إلى حفظ الصيغة أو طريقة كتابة أسماء وكلاء المستخدم.

كيفية إنشاء الملف

  1. 1

    حدّد وكيل المستخدم

    أدخل الزاحف الذي تنطبق عليه القواعد، أو اترك * لاستهداف جميع الروبوتات.

  2. 2

    أدرج المسارات المراد حظرها

    أضف الأدلة أو المسارات المراد حظرها، مسارًا واحدًا في كل سطر، مثل /admin/ أو /checkout/.

  3. 3

    أدرج المسارات المسموح بها

    أضف المسارات التي يجب أن تبقى قابلة للزحف، مسارًا واحدًا في كل سطر، لإنشاء استثناءات ضمن قاعدة Disallow أوسع.

  4. 4

    أضف خريطة الموقع وCrawl-delay

    أعلن رابط خريطة موقعك، وإذا احتجت، Crawl-delay بالثواني.

  5. 5

    انسخ وانشر

    انسخ الملف الناتج وضعه في https://yourdomain.com/robots.txt، في الجذر فقط وليس في مجلد فرعي.

قوالب بداية شائعة

السماح بكل شيء (معظم المواقع):

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

حظر بيئة التجهيز / الإدارة:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?session=
Sitemap: https://example.com/sitemap.xml

حظر زواحف تدريب الذكاء الاصطناعي والسماح لمحركات البحث:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

وكلاء مستخدم يستحقون المعرفة

User-agent المالك الغرض
Googlebot Google Search فهرسة الويب
Googlebot-Image Google بحث الصور
Google-Extended Google تدريب Bard/Gemini (إمكانية إلغاء الاشتراك)
Bingbot Microsoft بحث Bing
DuckDuckBot DuckDuckGo بحث DDG
GPTBot OpenAI ChatGPT / التدريب (إمكانية إلغاء الاشتراك)
ClaudeBot Anthropic تدريب Claude (إمكانية إلغاء الاشتراك)
CCBot Common Crawl مجموعة بيانات تستخدمها نماذج لغوية كثيرة
AhrefsBot Ahrefs فهرس الروابط الخلفية لتحسين محركات البحث
SemrushBot Semrush أبحاث تحسين محركات البحث
MJ12bot Majestic أبحاث تحسين محركات البحث

زواحف تدريب الذكاء الاصطناعي تخضع لإلغاء الاشتراك بحكم العُرف لا بموجب القانون؛ يحترم المشغّلون النزيهون هذه التوجيهات، بينما لا يفعل غير النزيهين ذلك.

قواعد مطابقة المسارات

  • المسارات نسبية لجذر النطاق وتبدأ بـ /.
  • * يطابق أي محرف. Disallow: /*.pdf$ يحظر جميع ملفات PDF.
  • $ يثبّت في نهاية عنوان URL. Disallow: /*/trash$ يحظر /foo/trash لكن ليس /foo/trashes/....
  • المطابقة الأطول تفوز. Allow: /admin/public/ يتجاوز Disallow: /admin/ لذلك المسار الفرعي.
  • المسارات حساسة لحالة الأحرف.

أشياء لا يستطيع robots.txt فعلها

  • إزالة صفحة من Google. استخدم وسم noindex على الصفحة نفسها.
  • حماية عنوان URL من البشر. ملف robots.txt علني وهو مجرد اقتراحات للروبوتات الملتزمة.
  • تحديد معدل زحف Googlebot. يتجاهل Google توجيه Crawl-delay؛ استخدم Search Console.
  • حظر الروبوتات التي تتجاهل robots.txt. أدوات جمع البيانات المزعجة لا تقرأ الملف.

قائمة تحقق النشر

  1. ضعه في https://yourdomain.com/robots.txt، في الجذر فقط.
  2. قدّمه بترويسة Content-Type: text/plain (تفعل معظم الخوادم ذلك تلقائيًا).
  3. الحجم: أقل من 500 كيلوبايت. يقتطع Google الملفات الأكبر.
  4. بعد النشر، تحقق من الملف المجلوب في أداة اختبار robots.txt داخل Google Search Console.
  5. عند إزالة قاعدة Disallow، لاحظ أن إلغاء الفهرسة قد يستغرق أسابيع.

الأسئلة الشائعة

ليس بالضرورة. بدونه، تفترض الزواحف “السماح بكل شيء”. إذا كان لديك ما تريد حظره، بيئة تجهيز أو إدارة أو دفع أو بحث داخلي، فأنت بحاجة إليه.

يمكنك أن تطلب منها التوقف عبر كتل وكيل المستخدم مثل GPTBot وClaudeBot وCCBot وGoogle-Extended. يحترمها المشغّلون الكبار، بينما تتجاهلها أدوات الجمع غير النزيهة تمامًا.

الزواحف متسامحة، تُتجاهل التوجيهات غير المعروفة. أما الأخطاء الجسيمة (HTTP 404 أو 500) فتُعامَل على أنها “السماح بكل شيء”. تحقق من صحة الملف قبل نشره.

في جذر كل مضيف تريد تغطيته، https://www.example.com/robots.txt وhttps://example.com/robots.txt ملفان منفصلان لمضيفين منفصلين.

لا. تُستخدم المسارات التي تدخلها فقط لتجميع الملف، ولا تُحفَظ ولا تُسجَّل.

أدوات ذات صلة

مرجع جدول ASCII

جدول ASCII كامل من 0 إلى 127 مع التمثيل العشري والست عشري والثماني والثنائي والمرجع الرقمي في HTML لكل محرف، بما في ذلك أكواد التحكم مثل NUL وLF وDEL.

مرجع أحرف HTML

قائمة قابلة للبحث بكيانات HTML، مع رموزها المسمّاة والرقمية، بالإضافة إلى خيار النسخ بنقرة واحدة للأحرف والرموز الخاصة.

مرجع اختصارات لوحة المفاتيح

ابحث في الاختصارات الافتراضية الموثقة لـ VS Code وChrome وBash مع GNU Readline على macOS وWindows وLinux.

مدقق البريد الإلكتروني

تحقق من عنوان بريد إلكتروني: فحص صياغة RFC 5322، واستعلام حي عن سجل MX، بالإضافة إلى تفاصيل الجزء المحلي والنطاق والطول. لا يتم إرسال أي بريد.

مولد EditorConfig

أنشئ ملف .editorconfig من قواعد المسافة البادئة ونهاية السطر ومجموعة الأحرف، ثم أضف قسمًا صحيحًا لكل لغة في مستودعك: Python وGo وYAML وMakefile وغيرها.

عدّاد FPS

قِس معدل الإطارات FPS في المتصفح عبر requestAnimationFrame: تنعيم، وأدنى وأقصى معدل إطارات، وحد تنبيه، ورسم بياني اختياري. يعمل محليًا بلا رفع ملفات وبلا API.

الأداة متاحة بلغات أخرى