robots.txt الافضل والاحدث

[linnou]

robots.txt الافضل والاحدث (http://www.zimabdk.com/vb/showthread.php?t=19418)





مقدمة:
هذا الملف شامل ورائع واقدمه لجميع اصحاب المواقع والمنتديات واسمح بالنقل لان الملف ليس من انتاجي بل من عمل برنامج

هذا الجزء منقول للفائدة

معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt (http://www.zimabdk.com/vb/showthread.php?t=19418) هو المسؤول عن توجيه هذه العناكب

ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة indexation محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع

انتهى النقل

والان الى الملف

http://www.zimabdk.com/robots.txt

رمز Code:
User-agent: Googlebot Disallow: User-agent: googlebot-image Disallow: User-agent: googlebot-mobile Disallow: User-agent: MSNBot Disallow: User-agent: Slurp Disallow: User-agent: Teoma Disallow: User-agent: twiceler Disallow: User-agent: Gigabot Disallow: User-agent: Scrubby Disallow: User-agent: Robozilla Disallow: User-agent: Nutch Disallow: User-agent: ia_archiver Disallow: User-agent: baiduspider Disallow: User-agent: naverbot Disallow: User-agent: yeti Disallow: User-agent: yahoo-mmcrawler Disallow: User-agent: psbot Disallow: User-agent: asterias Disallow: User-agent: yahoo-blogs/v3.9 Disallow: User-agent: * Disallow: Disallow: /cgi-bin/ Disallow: /tmp Disallow: cgi-perlx Disallow: vb/includes/ Disallow: vb/datastore Sitemap: http://www.zimabdk.com/vb/sitemap_index.xml.gz

اسأل الله ليولكم التوفيق
يسمح بالنقل مع ذكر المصدر
المصدر: منتديات زي ما بدك (http://www.zimabdk.com/vb)




https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©