إنشاء ملف robots.txt مخصص لتحسين محركات البحث في المدونة

يُعلم ملف robots.txt محرك البحث بالصفحات التي يجب أو لا ينبغي الزحف إليها

 




  ما هي روبوتات محرك البحث ؟

هي الروبوتات التي تقرأ البيانات من موقع ويب أو صفحة ويب وتنقلها إلى قاعدة بياناتها مثل Google أو Bing أو Yandex أو أي شيء آخر.

يتفاعل كل روبوت زحف لمحرك البحث أولاً مع ملف robots.txt وقواعد الزحف الخاصة بموقع الويب. 

هذا يعني أن ملف robots.txt يلعب دورًا مهمًا في تحسين محرك البحث لمدونة Blogger. تشرح هذه المقالة كيفية إنشاء ملف robots.txt مخصص مثالي في Blogger وتحسين المدونة لمحركات البحث.


  ما هي وظائف ملف robots.txt؟

يُعلم ملف robots.txt محرك البحث بالصفحات التي يجب أو لا ينبغي الزحف إليها، ومن ثم يسمح لنا بالتحكم في عمل روبوتات محرك البحث.

في ملف robots.txt، نعلن عن وظائف وكيل المستخدم، والسماح، وعدم السماح، ووظائف خريطة الموقع لمحركات البحث مثل Google، و Bing، و Yandex، وما إلى ذلك. 

دعونا نفهم معنى كل هذه المصطلحات.


عادةً ما نستخدم العلامات الوصفية لبرامج الروبوت لجميع محركات البحث لفهرسة منشورات المدونة والصفحات عبر الويب. ولكن إذا كنت تريد حظر روبوتات محرك البحث في بعض أقسام موقع الويب، فيجب أن تُعلم ملف robots.txt لمدونة Blogger بذلك.


   تحليل ملف Robots.txt الافتراضي لمدونة Blogger.

لإنشاء ملف robots.txt مخصص مثالي لمدونة Blogger، علينا أولاً فهم وتحليل بنية ملف robots.txt الافتراضي.

  • بشكل افتراضي، يبدو ملف robots.txt على هذا الشكل:


 


  •  User-agent: Mediapartners-Google: يعلن عن تعليمات لبرنامج Google AdSense، هذا يعني أن AdSense يمكنه الزحف إلى موقع الويب الخاص بك بالكامل وعرض الإعلانات.
  •  *:User-agent : يعني تعليمات لجميع برامج الزحف أو برامج الزحف الأخرى بخلاف Google AdSense باستخدام وظيفة allow و disallow.
  •  /:Disallow :يمكنك إعلان أقسام الصفحة التي لا ينبغي لمحركات البحث الزحف إليها.
  •  /:Allow : الأمر يسمح لموقع الويب بأكمله بالزحف، يمكنك تضمين أقسام خاصة من موقع الويب لا يجب فهرستها في نتائج البحث.
  • خريطة الموقع: https://example.com/sitemap.xml هو موقع ملف Sitemap الذي تمت إضافته إلى النطاق.


   إنشاء ملف robots.txt مخصص مثالي لمدونة Blogger.

لقد فهمنا كيفية قيام ملف robots.txt الافتراضي لمدونة Blogger. فلنقم بتحسينه للحصول على أفضل مُحسنات محركات البحث.

يسمح ملف robots.txt الافتراضي للأرشيف بالفهرسة التي تسبب مشكلة المحتوى المكرر. يمكننا منع مشكلة المحتوى المكرر عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف.


  •  *Disallow: /search : سيعطل الزحف إلى كل صفحات البحث والتسميات.
  •  /:Allow : تسمح للروبوتات بالزحف إلى المشاركات والصفحات. 

هكذا سيبدو ملف robots.txt المخصص الجديد لمدونة Blogger بهذا الشكل:


 

   تحرير ملف Robot text  لمدونة بلوجر 

  • انتقل إلى Blogger Dashboard وانقر على خيار الإعدادات.
  • قم بالتمرير لأسفل إلى قسم برامج الزحف والفهرسة.
  • قم بتمكين ملف robots.txt المخصص عن طريق زر التبديل.
  • انقر فوق ملف robots.txt المخصص، وسيتم فتح نافذة ولصق ملف robots.txt وتحديثه.


بعد تحديث ملف robots.txt المخصص لمدونة Blogger  تحقق منه بزيارة https://www.example.com/robots.txt، حيث يجب استبدال www.example.com بعنوان الدومين الخاص بك.


  

 خلاصة الموضوع.

لقد فهمنا وظيفة ملف robots.txt وأنشأنا ملف robots.txt مخصصًا مثاليًا لمدونة Blogger، يمكن لمستخدمي مدونة Blogger إعداد ملف robots.txt أعلاه للحصول على أفضل النتائج.


أتمنى أن تكون هذه المقالة قد نالت إعجابك واستفدت منها، وفي حالة وجود أي شكوك أو أسئلة بخصوص Blogger أو  SEO، يمكنك اخبارنا في التعليقات.

إرسال تعليق

جميع الحقوق محفوظة © Elkhabbabi academy | Online Courses.