اصحاب الخبرة .. ما هو افضل محتوى لملف Robots.txt

[walid]

السلام عليكم
ما هو افضل محتوى لملف Robots.txt
مع العلم انى مركب هاك product عمل خرائط الموقع vbSeo v2 المجانى وهذا رابط الخريطة
http://www.shark2arab.com/vb/sitemap_index.xml.gz
السوال ؟

1- أريد دخول كل عناكب البحث وخاصا الجوجل GOOGLE و الياهو
2 - ارشاد العناكب الى رابط خريطة المنتدى forum
3- أستثناء او ألغاء المجلدات والصفحات الغير هامة فى الأرشفة indexation
أو اى اعداد أخر لتحسين الأرشفة indexation




هذا على حد علمى والله اعلم

الأخوة اصحاب الخبرة ياريت يفيدونى

وجزا الله خيرا كل من سيقوم بسماعدتى

www.shark2arab.com/vb (http://www.shark2arab.com/vb)




https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©