http://www.freemix4u.com/wp-content/.../10/robots.jpg
الدليل الكامل لكتابة ملف robots.txt لمدونة blog الوورد بريس
بسم الله الرحمن الرحيم
العديد من أصحاب المواقع و المدونات لا يعرفون أهمية ملف ال robots.txt وما هو عمله .
وللأسف أن هناك العديد من المواضيع في الأنترنت تضيف ملف robots جاهز للتحميل وكل ما عليك ان تنسخ وتلصق في موقعك
ولكن من المحتمل أن لا يعمل مع موقعك بالشكل الصحيح ومتطلبات موقعك .
و كل موقع يختلف عن الأخر وملف robots.txt يختلف من موقع إلى أخر
لذلك في هذه التدوينة سأشرح طريقة لكم طريقة إنشاء ملف robots.txt خاص بموقعك و طريقة عمله .
ما هو ملف robots.txt ؟
هو ملف نصي .txt يحتوي على قواعد معينة للتحكم بزحف محركات البحث لموقعك وترتيب زحف هذه المحركات الى موقعك ويمكن إنشاءه بأي محرر نصوص متوفر لديك , ويتم وضعه في جذر الموقع
http://www.xxxxx.com/robots.txt
http://www.freemix4u.com/wp-content/...le-300x152.png
الحاجة إلى ملف robots.txt لموقعك :-
هناك ثلاثة أسباب رئيسية لوجود ملف Robots.txt لموقعك:
1- أرشفة indexation موقعك بشكل أفضل :-
إن لم تنسق ملف robots لمدونتك بشكل مرتب ودقيق ولم تستخدمه أصلاً , بالتأكيد لم تحصل على أرشفة indexation سريعه و كما تريد وذلك بسبب زحف محركات البحث إلى كل صفحة لموقع و إلى صفحات ليس لها ضرورة للأرشفة indexation مما يأخذ وقت طويل لتحليل وأرشفة indexation هذه الصفحات , مثال على ما أقول الوورد بريس مليئة بالصفحات , التصنيفات , و نسخ محفوظة من الأرشيف و علامات الميتا تاج .. و كلها مترابطة مع بعضها البعض , ومن المحتمل أن يؤدي إلى مشاكل لأرشفة indexation مدونتك بالشكل المطلوب و تعتبر مواضيع متكرره لترابط الروابط فيما بينها .
2- الأمن :-
هناك أسباب أمنية قوية لتقيد زحف ملفات الروبوتات ومحركات البحث بالزحف إلى موقعك بشكل عشوائي , وذلك من المحتمل أنك تحفظ بعض من البيانات السرية التي لا تريدها الظهور في نتائج محركات البحث .
كما لا ننسى أن هناك محركات جيدة و محركات ضارة , في حين لم تقيد هذه المحركات بالزحف لموقعك ستتيح الفرصة للمحركات الضارة بالزحف لموقعك وأخذ جميع بيانات موقعك .
3- أداء الملقم / الموقع الخاص بك :-
في حين لم تحدد زحف هذه العناكب والروبوتات لموقعك / مدونتك سيكون هناك حمل زائد على سرعه موقعك , مما يؤدي بضرر الأشخاص الأخرين المستضافين على نفس السيرفر SERVER , ويعمل لود عالي .
هناك صفحات كثيرة في موقعك ومدونتك وحقاً لا حاجة لأرشفتها وجلب محركات البحث اليها .
البعض يقول أنا على سيرفر SERVER ترافيك غير محدود , ولكن ليس هناك ما يسمى غير محدود , والكثير من المواقع تم أغلاقها بسبب اللود العالي .
الفرق بين ملف robots إفتراضي من ضمن سكربت وورد بريس و ملف robots حقيقي :-
سكربت الوورد بريس من ضمن تركيب installها تقوم بإنشاء ملف روبوتس تلقائياً وهمياً وذلك يتم في أول موضوع تقوم بإضافته لمدونتك ولتتأكد من كلامي قم بزيارة الرابط التالي
http://www.xxxxxx.com/robots.txt وهذا الملف الافتراضي ولا تستطيع التعديل عليه لأنك لم تجده من ضمن الملفات المحملة لموقعك وهو وهمي .
ملف روبوتس الحقيقي وهو الذي يتم إنشاءه عن طريقك يدوياً وتحميلة لجذر المدونة blog على مساحتك .
الملف الافتراضي من الووردبريس مهمته شيئين إما جعل محركات البحث تزحف إلى كل جزء من أجزاء مدونتك أو تمنعها نهائياً .
العمليات الأساسية لملف روبوتس :-
في ملف روبوتس أنت تتحكم أن كنت تريد جميع محركات البحث بالزحف لمدونتك ام تريد تحديد ذلك , وأيضاً تحدد هل تريد الزحف لجميع الأجزاء أم تريد تحديدها دعونا نتوجه للطريقة .
في حال أردت فتح الزحف للجميع زواء و محركات بحث سيكون الكود code كالتالي
User-agent: *
Disallow:
أما إذا أردت أن تمنع محركات البحث من الزحف ولكن تسمح بالزوار سيكون كالتالي
User-agent: *
Disallow : /
إذا لاحظت أن الأختلاف هو أضافة “/” بين الأولى والثانية
حجب المجلدات الأساسية للورد بريس :-
هناك دلائل أساسية في الوردبريس وهي مثل wp-admin – wp-includes – wp-content ولا حاجة لأرشفة indexation هذه المجلدات لأحتوائها على أمور حساسة لمدونتك وتركيب install مدونتك ولكن هناك مجلد wp-content/upload وهذا المجلد الذي يضاف اليه الصور المرفوعه على مساحة مدونتك لذلك انت بحاجة لأرشفته ووصول محركات البحث .
الأن مثال لما تحدثنا عنه
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-content/uploads/
انظر لمجلد الصور allow: wp-content/uploads/
وبهذا تسمح لمحركات البحث بأرشفته
حظر على أساس بنية موقعك :-
لكل هيكل مدونة blog يختلق عن الأخر , ويجب أن تحدد هيكلة مدونتك لأن على هذا الأساس يخلق فوضة كبيرة بأرشفة indexation مدونتك
يمكن هيكلة كل مدونة blog بطرق مختلفة ويتم سرد بعض منها فيما يلي:
1- وعلى أساس الفئات
2- وعلى أساس من الكلمات
3- وعلى أساس كل الفئات والكلمات
4- لا أحد منهم
وعلى ذلك إذا كنت من ضمن ما يستخدم الفئات لا داعي للكلمات وبالعكس
أذا كنت تستخدم هيكلة الفئات اعمل حظر للكلمات
Disallow: /tag/
واذا كنت تستخدم هيكلة الكلمات أعمل حظر للفئات
Disallow: /category/
أيضاً ممكن أن تكون مدونتك على هيكلة التاريخ 10/2/2014 وهذا ايضاً قد يسبب مشكلة في الأرشفة indexation ويمكنك منعها عن طريق الأمر
Disallow: /2014/
Disallow: /2014/
Disallow: /2014/
Disallow: /2014/
لاحظ هنا أستخدمنا أوامر منفصلة 2014-2014 لأنه إذا تم أختصاره بالامر التالي
disallow:20*/
سيتم منع أرشفة indexation كل شي يبتدي بالرقم “20″ وقد يكون هناك محتوى يتضمن هذا الرقم
السماح لمحرك بحث معين من الزحف بشكل كامل :-
في بعض الاحيان تريد تحديد نوع معين من المحركات بالزحف بشكل كامل لموقعك وذلك بالامر التالي
User-agent: google bots
Disallow:
Allow: /
لاحظ الأمر أننا كتبنا disallow: وهو أمر المنع ولكن أمامه فراغ وذلك لتقول لمحركات البحث أرشف كل شيء , ولكن لن نكتفي فقط بذلك أضفنا أمر السماح وهو allow: /
هناك الكثير من الصفحات والروابط الغير مرغوب بأرشفتها ومنها روابط التغذية feed
Disallow: /feed/
أيضاً هناك التراكباك وهو روابط المرجع وهي صفحات مكررة من المواضيع الأصل
Disallow: /trackback/
وهذا كل شيء تقريباً عن ملف الروبوتس الخاص لمدونتك أتمنى أن يكون الشرح طريقة وافي وإنشاء الله سيكون هناك فيديو لعمل ملف الروبوتس بالكامل .
إن أعجبك الموضوع لا تتردد بتقيمه
المصدر
مدونة blog FreeMix4U 