linnou
11-01-2013, بتوقيت غرينيتش 10:11 PM
السلام عليكم ورحمة الله وبركاته
عند زيارة محركات البحث لموقع معين تقوم بالأساس وفي البداية بالبحث عن ملف خاص بصفحة موقعك الرئسية يدعى robots.txt (اذا وجد) و هو عبارة عن ملف نصي عادي بامتداد txt يمكنك تحريره بأي محرر نصي ..
هذا الملف يمكننا تشبيهه بباب الموقع بالنسبة لعناكب محركات البحث spiders ..
تخيل أنه لديك معرض و سيأتيك الزوار. يمكنك أن تضع حارسا في الباب يسمح بدخول الجميع أو البعض و يقوم بتوجيههم لزيارة كامل المعرض أو غرفة معينة .. هذا مايقوم به الملف robots.txt لمحركات البحث والعناكب فهو يقوم بتوجيههم إلى أماكن معينة و يتحكم فيهم تحكم كامل و سنستعرض في هذا الموضوع هذه الأشياء
في البداية يجب أن ترفع ملف robots.txt في المجلد الرئيسي للموقع root أو www أو home أو public_html كل حسب سيرفر SERVERه. بحيث يكون على الامتداد التالي :
http://www.url.com/robots.txt
حيث url تعني رابط موقعك
الأن شرح طريقة تحرير هذا الملف :
قم بانشاء ملف نصي جديد طبعا بامتداد txt وسميه robots وقم بفتحه لتحريره بالمحرر العادي
ضعه به الكود code التالي وسنقوم بتفسيره تدريجيا
رمز Code:
User-agent: * Disallow:
User-agent هو العميل أي عنكبوت محرك بحث معين ..
هذه العلامة * معناه أنك تقصد جميع العناكب دون استثناء ..
Disallow هو ماستأمر به لذالك النوع المعين من العناكب أو في حالتنا هذه جميع العناكب دون استثناء اذا تركته فارغا فمعنى ذالك أن الباب مفتوح لجميع العناكب ويمكنهم الدخول وأرشفة indexation جميع المجلدات في موقعك دون استثناء ..
أما اذا وضعة به الأمر التالي :
رمز Code:
User-agent: * Disallow: /
فمعنى ذالك أن جميع العناكب دون استثناء لا يمكنها الدخول لأي مجلد ولأي ملف بالموقع وغير مسموح لها بأرشفة indexation أي شئ من الموقع
بالتالي العلامة / عبارة عند أداة منع أو حجب
الى هنا كل شي واضح
نأتي الأن اذا أردت حجب أو منع ملف معين فقط عن محركات البحث جميعها دون استثناء تضع الأمر التالي :
رمز Code:
User-agent: * Disallow: /vb/register.php/
فهذه الحالة أنت حددت لجميع عناكب البحث مسار لملف معين ممنوع عليهم الدخول اليه أو أرشفته في دليلهم وماعدى هذا الملف باقي محتويات الموقع مسموحة لجميع العناكب ..
طبعا الملف في مثالنا هذا هو vb/register.php ويدل على منع العناكب من الوصول الى ملف التسجيل بالمنتدى forum.
مثال ثاني :
رمز Code:
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /sql/
تفسيره أنك تخاطب جميع العناكب بالتالي : مسموح لهم بالدخول لأي مجلد وأرشفة indexation محتواه في الموقع ماعدى المجلدات التالية :
cgi-bin
tmp
sql
ننتقل الأن لمرحلة مخاطبة عناكب معينة مثال ذالك عناكب XBot أي عنكبوت محرك بحث "X"
رمز Code:
User-agent: XBot Disallow: / User-agent: * Disallow: /private/
هذا الكود code معناه أنك أمرة بحجب موقعك عن عناكب XBot ومنعهم من أرشفة indexation محتواه ..
وبقية العناكب يمكنهم الدخول والأرشفة indexation ماعدى ملف private
بعض الأخطاء الشائعة في ملف robots.txt التي ننبه اليها :
رمز Code:
User-agent: * Disallow /
هنا تنقصنا النقطتان جانب كلمة Disallow
رمز Code:
User-agent: * Disallow: *
خطأ في تحديد الملفات المرد حجبها فاذا أردت حجب جميع محتوايات الموقع تضع / أو تتركه فارغ اذا رغبت فالعكس
تنبيه ثاني مهم
عناكب البحث تقرأ الملف من الأعلى الى الأسفل أنظر المثال التالي :
رمز Code:
User-agent: * Disallow: / User-agent: Xbot Disallow:
خطأنا هنا هو أننا أمرنا في البداية بحجب كل شئ عن جميع عناكب البحث فلا داعي لما تم وضعه بالجزء الثاني من الكود code لأن عناكب Xbot لن تواصل القرأة ستغادر على الفور. اذا أردنا حجب كل شئ عن جميع العناكب ماعدى عناكب Xbot تعكس أجزاء الكود code ..
افضل ملف روبرتس robots.txt لمنتديات الفي بي النسخ الجديده
رمز Code:
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /vb/referrers.php Disallow: /vb/ajax_cron.php Disallow: /vb/ajax.php Disallow: /vb/attachment.php Disallow: /vb/calendar.php Disallow: /vb/cron.php Disallow: /vb/editpost.php Disallow: /vb/global.php Disallow: /vb/image.php Disallow: /vb/inlinemod.php Disallow: /vb/joinrequests.php Disallow: /vb/login.php Disallow: /vb/member.php Disallow: /vb/memberlist.php Disallow: /vb/misc.php Disallow: /vb/moderator.php Disallow: /vb/newattachment.php Disallow: /vb/newreply.php Disallow: /vb/newthread.php Disallow: /vb/online.php Disallow: /vb/poll.php Disallow: /vb/postings.php Disallow: /vb/printthread.php Disallow: /vb/private.php Disallow: /vb/profile.php Disallow: /vb/register.php Disallow: /vb/report.php Disallow: /vb/reputation.php Disallow: /vb/search.php Disallow: /vb/sendmessage.php Disallow: /vb/showgroups.php Disallow: /vb/subscription.php Disallow: /vb/threadrate.php Disallow: /vb/usercp.php Disallow: /vb/usernote.php Disallow: /vb/tags/ Disallow: /vb/ehdaa.php Disallow: vb/results?search_query/ Disallow: /vb/admincp/ Disallow: /vb/modcp/ Disallow: /vb/faq.php Disallow: /vb/online.php Disallow: /vb/calendar.php Disallow: /vb/images/ Disallow: /vb/customprofilepics/ Disallow: /vb/customavatars/ Disallow: /vb/cpstyles/ Disallow: /vb/clientscript/ Disallow: /vb/bnnr.php Sitemap:http://www.url.com/vb/sitemap_index.xml.gz
أنتهى الشرح طريقة ونامل ان يكون واضحا للجميع
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
عند زيارة محركات البحث لموقع معين تقوم بالأساس وفي البداية بالبحث عن ملف خاص بصفحة موقعك الرئسية يدعى robots.txt (اذا وجد) و هو عبارة عن ملف نصي عادي بامتداد txt يمكنك تحريره بأي محرر نصي ..
هذا الملف يمكننا تشبيهه بباب الموقع بالنسبة لعناكب محركات البحث spiders ..
تخيل أنه لديك معرض و سيأتيك الزوار. يمكنك أن تضع حارسا في الباب يسمح بدخول الجميع أو البعض و يقوم بتوجيههم لزيارة كامل المعرض أو غرفة معينة .. هذا مايقوم به الملف robots.txt لمحركات البحث والعناكب فهو يقوم بتوجيههم إلى أماكن معينة و يتحكم فيهم تحكم كامل و سنستعرض في هذا الموضوع هذه الأشياء
في البداية يجب أن ترفع ملف robots.txt في المجلد الرئيسي للموقع root أو www أو home أو public_html كل حسب سيرفر SERVERه. بحيث يكون على الامتداد التالي :
http://www.url.com/robots.txt
حيث url تعني رابط موقعك
الأن شرح طريقة تحرير هذا الملف :
قم بانشاء ملف نصي جديد طبعا بامتداد txt وسميه robots وقم بفتحه لتحريره بالمحرر العادي
ضعه به الكود code التالي وسنقوم بتفسيره تدريجيا
رمز Code:
User-agent: * Disallow:
User-agent هو العميل أي عنكبوت محرك بحث معين ..
هذه العلامة * معناه أنك تقصد جميع العناكب دون استثناء ..
Disallow هو ماستأمر به لذالك النوع المعين من العناكب أو في حالتنا هذه جميع العناكب دون استثناء اذا تركته فارغا فمعنى ذالك أن الباب مفتوح لجميع العناكب ويمكنهم الدخول وأرشفة indexation جميع المجلدات في موقعك دون استثناء ..
أما اذا وضعة به الأمر التالي :
رمز Code:
User-agent: * Disallow: /
فمعنى ذالك أن جميع العناكب دون استثناء لا يمكنها الدخول لأي مجلد ولأي ملف بالموقع وغير مسموح لها بأرشفة indexation أي شئ من الموقع
بالتالي العلامة / عبارة عند أداة منع أو حجب
الى هنا كل شي واضح
نأتي الأن اذا أردت حجب أو منع ملف معين فقط عن محركات البحث جميعها دون استثناء تضع الأمر التالي :
رمز Code:
User-agent: * Disallow: /vb/register.php/
فهذه الحالة أنت حددت لجميع عناكب البحث مسار لملف معين ممنوع عليهم الدخول اليه أو أرشفته في دليلهم وماعدى هذا الملف باقي محتويات الموقع مسموحة لجميع العناكب ..
طبعا الملف في مثالنا هذا هو vb/register.php ويدل على منع العناكب من الوصول الى ملف التسجيل بالمنتدى forum.
مثال ثاني :
رمز Code:
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /sql/
تفسيره أنك تخاطب جميع العناكب بالتالي : مسموح لهم بالدخول لأي مجلد وأرشفة indexation محتواه في الموقع ماعدى المجلدات التالية :
cgi-bin
tmp
sql
ننتقل الأن لمرحلة مخاطبة عناكب معينة مثال ذالك عناكب XBot أي عنكبوت محرك بحث "X"
رمز Code:
User-agent: XBot Disallow: / User-agent: * Disallow: /private/
هذا الكود code معناه أنك أمرة بحجب موقعك عن عناكب XBot ومنعهم من أرشفة indexation محتواه ..
وبقية العناكب يمكنهم الدخول والأرشفة indexation ماعدى ملف private
بعض الأخطاء الشائعة في ملف robots.txt التي ننبه اليها :
رمز Code:
User-agent: * Disallow /
هنا تنقصنا النقطتان جانب كلمة Disallow
رمز Code:
User-agent: * Disallow: *
خطأ في تحديد الملفات المرد حجبها فاذا أردت حجب جميع محتوايات الموقع تضع / أو تتركه فارغ اذا رغبت فالعكس
تنبيه ثاني مهم
عناكب البحث تقرأ الملف من الأعلى الى الأسفل أنظر المثال التالي :
رمز Code:
User-agent: * Disallow: / User-agent: Xbot Disallow:
خطأنا هنا هو أننا أمرنا في البداية بحجب كل شئ عن جميع عناكب البحث فلا داعي لما تم وضعه بالجزء الثاني من الكود code لأن عناكب Xbot لن تواصل القرأة ستغادر على الفور. اذا أردنا حجب كل شئ عن جميع العناكب ماعدى عناكب Xbot تعكس أجزاء الكود code ..
افضل ملف روبرتس robots.txt لمنتديات الفي بي النسخ الجديده
رمز Code:
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /vb/referrers.php Disallow: /vb/ajax_cron.php Disallow: /vb/ajax.php Disallow: /vb/attachment.php Disallow: /vb/calendar.php Disallow: /vb/cron.php Disallow: /vb/editpost.php Disallow: /vb/global.php Disallow: /vb/image.php Disallow: /vb/inlinemod.php Disallow: /vb/joinrequests.php Disallow: /vb/login.php Disallow: /vb/member.php Disallow: /vb/memberlist.php Disallow: /vb/misc.php Disallow: /vb/moderator.php Disallow: /vb/newattachment.php Disallow: /vb/newreply.php Disallow: /vb/newthread.php Disallow: /vb/online.php Disallow: /vb/poll.php Disallow: /vb/postings.php Disallow: /vb/printthread.php Disallow: /vb/private.php Disallow: /vb/profile.php Disallow: /vb/register.php Disallow: /vb/report.php Disallow: /vb/reputation.php Disallow: /vb/search.php Disallow: /vb/sendmessage.php Disallow: /vb/showgroups.php Disallow: /vb/subscription.php Disallow: /vb/threadrate.php Disallow: /vb/usercp.php Disallow: /vb/usernote.php Disallow: /vb/tags/ Disallow: /vb/ehdaa.php Disallow: vb/results?search_query/ Disallow: /vb/admincp/ Disallow: /vb/modcp/ Disallow: /vb/faq.php Disallow: /vb/online.php Disallow: /vb/calendar.php Disallow: /vb/images/ Disallow: /vb/customprofilepics/ Disallow: /vb/customavatars/ Disallow: /vb/cpstyles/ Disallow: /vb/clientscript/ Disallow: /vb/bnnr.php Sitemap:http://www.url.com/vb/sitemap_index.xml.gz
أنتهى الشرح طريقة ونامل ان يكون واضحا للجميع
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
