ما هو ملف robots.txt؟
Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محرك البحث بكيفية الزحف إلى الصفحات وفهرستها على مواقعهم.
يتم تخزينه عادةً في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقع الويب الخاص بك. يبدو التنسيق الأساسي لملف robots.txt على النحو التالي:
|
1
2
3
4
5
6
7
8
|
User-agent: [user-agent name]Disallow: [URL string not to be crawled]User-agent: [user-agent name]Allow: [URL string to be crawled]Sitemap: [URL of your XML Sitemap] |
يمكن أن يكون لديك عدة أسطر من التعليمات للسماح أو عدم السماح بعناوين URL محددة وإضافة خرائط مواقع متعددة. إذا لم تمنع عنوان URL ، فإن روبوتات محرك البحث تفترض أنه مسموح لها بالزحف إليه.
هذا هو الشكل الذي يمكن أن يبدو عليه ملف robots.txt كمثال:
|
1
2
3
4
5
6
|
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Sitemap: https://example.com/sitemap_index.xml |
في مثال ملف robots.txt أعلاه ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد تحميلات WordPress.
بعد ذلك ، منعنا روبوتات البحث من الزحف إلى المكونات الإضافية وفهرستها ومجلدات إدارة WordPress.
أخيرًا ، قدمنا عنوان URL لخريطة موقع XML الخاصة بنا.
هل تحتاج إلى ملف Robots.txt لموقع WordPress الخاص بك؟
إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقع الويب الخاص بك وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها.
لن يكون لهذا تأثير كبير عندما تبدأ مدونة ولا تحتوي على الكثير من المحتوى.
ومع ذلك ، مع نمو موقع الويب الخاص بك ولديك الكثير من المحتوى ، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته.
تمتلك روبوتات البحث حصة زحف لكل موقع ويب.
هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستأنفوا الزحف في الجلسة التالية.
هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك.
يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مدير WordPress وملفات المكونات الإضافية ومجلد السمات.
من خلال عدم السماح بالصفحات غير الضرورية ، فإنك تحفظ حصة الزحف الخاصة بك. يساعد هذا محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.
سبب وجيه آخر لاستخدام ملف robots.txt هو عندما تريد منع محركات البحث من فهرسة منشور أو صفحة على موقع الويب الخاص بك.
إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.
ما الذي يجب أن يبدو عليه ملف Robots.txt المثالي؟
تستخدم العديد من المدونات الشهيرة ملف robots.txt بسيطًا جدًا. قد يختلف محتواها ، اعتمادًا على احتياجات الموقع المحدد:
|
1
2
3
4
5
|
User-agent: *Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml |
يسمح ملف robots.txt لجميع برامج الروبوت بفهرسة كل المحتوى ويوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقع الويب .
بالنسبة إلى مواقع WordPress ، نوصي بالقواعد التالية في ملف robots.txt:
|
1
2
3
4
5
6
7
8
9
|
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml |
هذا يخبر روبوتات البحث بفهرسة جميع صور وملفات WordPress. لا يسمح لروبوتات البحث من فهرسة ملفات WordPress الإضافية ، ومنطقة إدارة WordPress ، وملف WordPress التمهيدي ، والروابط التابعة.
بإضافة خرائط المواقع إلى ملف robots.txt ، فإنك تسهل على روبوتات Google العثور على جميع الصفحات الموجودة على موقعك.
الآن بعد أن تعرفت على شكل ملف robots.txt المثالي ، دعنا نلقي نظرة على كيفية إنشاء ملف robots.txt في WordPress.
كيفية إنشاء ملف Robots.txt في WordPress؟
هناك طريقتان لإنشاء ملف robots.txt في WordPress. يمكنك اختيار الطريقة التي تناسبك.
الطريقة الأولى: تحرير ملف Robots.txt باستخدام Yoast SEO
إذا كنت تستخدم المكون الإضافي Yoast SEO ، فإنه يأتي مع منشئ ملفات robots.txt.
يمكنك استخدامه لإنشاء وتعديل ملف robots.txt مباشرة من منطقة إدارة WordPress الخاصة بك.
ما عليك سوى الانتقال إلى SEO » صفحة الأدوات في مسؤول WordPress الخاص بك والنقر على رابط File Editor.
في الصفحة التالية ، ستعرض صفحة Yoast SEO ملف robots.txt الموجود لديك.
إذا لم يكن لديك ملف robots.txt ، فسيقوم Yoast SEO بإنشاء ملف robots.txt لك.
بشكل افتراضي ، سيضيف مُنشئ ملف robots.txt الخاص بـ Yoast SEO القواعد التالية إلى ملف robots.txt الخاص بك:
|
1
2
|
User-agent: *Disallow: / |
من المهم أن تحذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقع الويب الخاص بك.
بعد حذف النص الافتراضي ، يمكنك المضي قدمًا وإضافة قواعد ملف robots.txt الخاصة بك. نوصي باستخدام تنسيق robots.txt المثالي الذي شاركناه أعلاه.
بمجرد الانتهاء ، لا تنس النقر فوق الزر “حفظ ملف robots.txt” لتخزين تغييراتك.
الطريقة الثانية: قم بتحرير ملف Robots.txt يدويًا باستخدام FTP
لهذه الطريقة ، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt.
ما عليك سوى الاتصال بحساب استضافة WordPress الخاص بك باستخدام عميل FTP.
بمجرد الدخول ، ستتمكن من رؤية ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك.
إذا كنت لا ترى واحدة ، فمن المحتمل ألا يكون لديك ملف robots.txt. في هذه الحالة ، يمكنك المضي قدمًا وإنشاء واحدة.
Robots.txt هو ملف نصي عادي ، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.
بعد حفظ التغييرات ، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقع الويب الخاص بك.
كيف تختبر ملف Robots.txt الخاص بك؟
بمجرد إنشاء ملف robots.txt الخاص بك ، فمن الأفضل دائمًا اختباره باستخدام أداة اختبار ملف robots.txt.
هناك العديد من أدوات اختبار ملف robots.txt ، لكننا نوصي باستخدام الأداة الموجودة داخل Google Search Console .
ما عليك سوى تسجيل الدخول إلى حساب Google Search Console ، ثم التبديل إلى موقع Google Search Console القديم على الويب.
سينقلك هذا إلى واجهة Google Search Console القديمة. من هنا تحتاج إلى تشغيل أداة اختبار ملف robots.txt الموجودة ضمن قائمة “الزحف”.
ستقوم الأداة تلقائيًا بجلب ملف robots.txt لموقع الويب الخاص بك وتمييز الأخطاء والتحذيرات إذا وجدت أيًا منها.