السلام عليكم


انا قعدت يوم كامل عشان اقرة على ملف الربوتس وعرفت انه تكرار المحتوى شى خطير جدا فعملت ملف ربوتز مميز

بيمنع محركات البحث من الزحف على اى صفحة مكررة زى الاقسام والتجز والفيد وما شابه زلك

انا عملتة على اساس مدونة blog ورد بريس


الملف هوه

http://www.stylisheve.com/robots.txt


هقوم بشرح طريقةة فالاسفل


الجزء دوت هوه الجزء الخاص بملفات وفولدرات الورد بريس اللى انا مش محتاجة ان اى محرك بحث يعملها زحف

رمز PHP:
<code style="white-space:nowrap"> <code> Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-trackback.php
Disallow: /wp-settings.php
Disallow: /wp-rss2.php
Disallow: /wp-rss.php



Disallow: /wp-register.php
Disallow: /wp-rdf.php
Disallow: /wp-pass.php
Disallow: /wp-mail.php
Disallow: /wp-login.php
Disallow: /wp-load.php
Disallow: /wp-links-opml.php
Disallow: /wp-feed.php
Disallow: /wp-cron.php
Disallow: /wp-config-sample.php
Disallow: /wp-config.php
Disallow: /wp-commentsrss2.php
Disallow: /wp-comments-post.php
Disallow: /wp-blog-header.php
Disallow: /wp-atom.php
Disallow: /wp-app.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/woo_custom/
Disallow: /wp-content/woo_uploads/
Allow: /wp-content/uploads
</code> </code>


هنا بقة انا منعت جوجل GOOGLE انه يعمل زحف على اى ملف امتداه feed او خاص بالفيد او الاقسام او التاجز عشان ميقراش حاجه متكررة وطبعا زكرت كل الحالات بتاعت كل حاجة ومنعتها كلها

رمز PHP:
<code style="white-space:nowrap"> <code> Disallow: /feed
Disallow: /contact-us
Disallow: /feed/$
Disallow: /trackback
Disallow: /comments
Disallow: /search
Disallow: /tag
Disallow: /author
Disallow: /feed/
Disallow: /category/*/*
disallow: */trackback
disallow: */*/trackback
disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /z/
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /*feed=
Disallow: /?feed=
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*&cp=
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /wp-content/uploads
Allow: /*?$
</code> </code>

طبعا الكود code دوت انا كررتة مع


# MSN
User-agent: msnbot


# Yahoo!
User-agent: Slurp


# Ask
User-agent: Teoma


هتقولوليلى طيب لية انا محتهوش فى الاشياء المحزورة العامه

لانه مينفعش لانى مثلا مش عاوزة Googlebot تقرة الفيد او الاقسام بس عاوزة Mediapartners-Google الخاص بجوجل GOOGLE ادسنس يقراها وعاوزة كمان جوجل GOOGLE ايمج يقراها

فانا اتطريت انى احطها فكل محرك بحث على حدى وخليت الباقى يقراها عادى


فارجو من الخبراء يقولو رئيهم

وبعدين حطيت

رمز PHP:
<code style="white-space:nowrap"> <code> User-agent: Googlebot-Image
Allow: /
</code> </code>


ثم


# رمز PHP:
<code style="white-space:nowrap"> <code> allow adsense bot on entire site
User-agent: Mediapartners-Google
Disallow: /*.php$
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Allow: /index.php
</code> </code>


لانى طبعا يهمنى ان زحف ادسنس يم على المواضيع والاقسام مش الملفات اللى ملهاش لزمة


اه صحيح انا لغيت زحف جوجل GOOGLE على الصور وخليت جوجل GOOGLE للصور بس عهوه اللى يزحف عليها


ها اية رئيكم





©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى©