5/11/2016

شرح إنشاء ملف robots.txt بالتفصيل للمبتدئين

كل موقع لديه ملف robots.txt ولكن ما الفائدة منه؟ وكيف أقوم بعمله لموقعي؟ ورفعه للموقع؟


ستجد أجابة لكل أسألتك في هذه التدوينة بأذن الله.

  • ماهو ملف robots.txt ؟
هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol.
ووظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.
ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt, ويمكنك مشاهدة ملف robots.txt للموقع الناجح على الرابطhttp://ar-pro-ar.blogspot.com/robots.txt

  • كيف أقوم بأنشاء ملف robots.txt ؟
أمر سهل جداً وليس صعب, فقط أفتح مفكرة أو Notepad جديدة.

شرح ,إنشاء, ملف, robots.txt

قم في بداية الصفحة بكتابة  وأشارة النجمة تعني بمنع جميع عناكب البحث من أرشفة الصفحات التي تلي هذا الأمر, ونلاحظ في ملف robots.txt للموقع الناجح أني قمت بحجب العناكب عن صفحات الادارة والتعليقات وهي:


Disallow: /wp-admin/
Disallow: /author
Disallow: /comments/feed/


ستقوم أنت بتعيين جميع الصفحات التي لا تريد أن تتأرشف وتضعها بعد Disallow, حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.
العناكب الآن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها, لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.

لنقوم الآن باستدعاء عناكب الصور والجوال لأرشفة الموقع, وذلك عن طريق نفس الأوامر, حيث Googlebot-Image هي عناكب الصور وGooglebot-mobile هي عناكب الجوال, وستستمح لهم بأرشفة كل موقعك وذلك عبر Allow كما في الصورة:

بعد ذلك ستقوم بأدخال رابط خريطة موقعك في نهاية الملف sitemap: 

  • هل ما زلت تجد صعوبة في إنشاء ملف robots.txt ؟

لا مشكلة, سأقوم بطرح مثال لتوضيح الأمور, لنفترض أن موقعك لديه لوحة تحكم على الرابط: www.example.com/admin , ويمكنك التحكم بالصور والفيديوهات والملفات من خلال الروابط التالية:
www.example.com/admin/images
www.example.com/admin/videos
www.example.com/admin/files
لن تقوم أنت بكتابة أمر المنع لجميع هذه الصفحات, ولكن ستوضح لعناكب البحث أن كل صفحة لها علاقة بالادمن أو الأدارة لا تنظر لها والابتعاد عنها, عن طريق أبعادهم عن كلمة admin ليصبح شكل الملف :

الآن أي رابط يحوي على admin لن تدخله عناكب البحث.

ملاحظة: لا تقم بحجب أي ملفات جافا سكربت أو ملفات CSS لأن عناكب البحث لن تستطيع مشاهدة موقعك بشكل جيد كما يراه الانسان, اسمح لعناكب البحث بالوصول للملفات للحصول على ارشفة افضل.

  • كيف أقوم برفعه لموقعي؟


من خلال السي بانل قم برفعه على المجلد الرئيسي لموقعك, حيث تكون قد حفظت الملف على سطح المكتب بأسم robots.txt, ليصبح هناك صفحة خاصة بموقعك فيها هذه الملف, www.yoursite.com/robots.txt

ثم أذهب إلى أدوات مشرفي المواقع google webmasters tools, وأدخل إلى أداة فحص ملف الروبوت, قم بأدخال المسار “الرابط”, ثم أضغط على Test أو فحص, ثم شاهد النتائج.

 أعتقد الآن أصبح لديك معرفة كاملة 100% عن ملف robots.txt ووظيفته وطريقه إنشاءه ورفعه لموقعك.


لا تنسا ان تكن من أعضاء المدونة من هنا , إذا واجهتك اي مشكلة لا تترد فى ترك تعليق

اضف تعليقك