Chakira
11-01-2013, بتوقيت غرينيتش 08:49 PM
السلام عليكم
انا قعدت يوم كامل عشان اقرة على ملف الربوتس وعرفت انه تكرار المحتوى شى خطير جدا فعملت ملف ربوتز مميز
بيمنع محركات البحث من الزحف على اى صفحة مكررة زى الاقسام والتجز والفيد وما شابه زلك
انا عملتة على اساس مدونة blog ورد بريس
الملف هوه
http://www.stylisheve.com/robots.txt
هقوم بشرح طريقةة فالاسفل
الجزء دوت هوه الجزء الخاص بملفات وفولدرات الورد بريس اللى انا مش محتاجة ان اى محرك بحث يعملها زحف
رمز PHP:
<code style="white-space:nowrap"> <code> Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-trackback.php
Disallow: /wp-settings.php
Disallow: /wp-rss2.php
Disallow: /wp-rss.php
Disallow: /wp-register.php
Disallow: /wp-rdf.php
Disallow: /wp-pass.php
Disallow: /wp-mail.php
Disallow: /wp-login.php
Disallow: /wp-load.php
Disallow: /wp-links-opml.php
Disallow: /wp-feed.php
Disallow: /wp-cron.php
Disallow: /wp-config-sample.php
Disallow: /wp-config.php
Disallow: /wp-commentsrss2.php
Disallow: /wp-comments-post.php
Disallow: /wp-blog-header.php
Disallow: /wp-atom.php
Disallow: /wp-app.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/woo_custom/
Disallow: /wp-content/woo_uploads/
Allow: /wp-content/uploads
</code> </code>
هنا بقة انا منعت جوجل GOOGLE انه يعمل زحف على اى ملف امتداه feed او خاص بالفيد او الاقسام او التاجز عشان ميقراش حاجه متكررة وطبعا زكرت كل الحالات بتاعت كل حاجة ومنعتها كلها
رمز PHP:
<code style="white-space:nowrap"> <code> Disallow: /feed
Disallow: /contact-us
Disallow: /feed/$
Disallow: /trackback
Disallow: /comments
Disallow: /search
Disallow: /tag
Disallow: /author
Disallow: /feed/
Disallow: /category/*/*
disallow: */trackback
disallow: */*/trackback
disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /z/
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /*feed=
Disallow: /?feed=
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*&cp=
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /wp-content/uploads
Allow: /*?$
</code> </code>
طبعا الكود code دوت انا كررتة مع
# MSN
User-agent: msnbot
# Yahoo!
User-agent: Slurp
# Ask
User-agent: Teoma
هتقولوليلى طيب لية انا محتهوش فى الاشياء المحزورة العامه
لانه مينفعش لانى مثلا مش عاوزة Googlebot تقرة الفيد او الاقسام بس عاوزة Mediapartners-Google الخاص بجوجل GOOGLE ادسنس يقراها وعاوزة كمان جوجل GOOGLE ايمج يقراها
فانا اتطريت انى احطها فكل محرك بحث على حدى وخليت الباقى يقراها عادى
فارجو من الخبراء يقولو رئيهم
وبعدين حطيت
رمز PHP:
<code style="white-space:nowrap"> <code> User-agent: Googlebot-Image
Allow: /
</code> </code>
ثم
# رمز PHP:
<code style="white-space:nowrap"> <code> allow adsense bot on entire site
User-agent: Mediapartners-Google
Disallow: /*.php$
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Allow: /index.php
</code> </code>
لانى طبعا يهمنى ان زحف ادسنس يم على المواضيع والاقسام مش الملفات اللى ملهاش لزمة
اه صحيح انا لغيت زحف جوجل GOOGLE على الصور وخليت جوجل GOOGLE للصور بس عهوه اللى يزحف عليها
ها اية رئيكم
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
انا قعدت يوم كامل عشان اقرة على ملف الربوتس وعرفت انه تكرار المحتوى شى خطير جدا فعملت ملف ربوتز مميز
بيمنع محركات البحث من الزحف على اى صفحة مكررة زى الاقسام والتجز والفيد وما شابه زلك
انا عملتة على اساس مدونة blog ورد بريس
الملف هوه
http://www.stylisheve.com/robots.txt
هقوم بشرح طريقةة فالاسفل
الجزء دوت هوه الجزء الخاص بملفات وفولدرات الورد بريس اللى انا مش محتاجة ان اى محرك بحث يعملها زحف
رمز PHP:
<code style="white-space:nowrap"> <code> Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-trackback.php
Disallow: /wp-settings.php
Disallow: /wp-rss2.php
Disallow: /wp-rss.php
Disallow: /wp-register.php
Disallow: /wp-rdf.php
Disallow: /wp-pass.php
Disallow: /wp-mail.php
Disallow: /wp-login.php
Disallow: /wp-load.php
Disallow: /wp-links-opml.php
Disallow: /wp-feed.php
Disallow: /wp-cron.php
Disallow: /wp-config-sample.php
Disallow: /wp-config.php
Disallow: /wp-commentsrss2.php
Disallow: /wp-comments-post.php
Disallow: /wp-blog-header.php
Disallow: /wp-atom.php
Disallow: /wp-app.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/woo_custom/
Disallow: /wp-content/woo_uploads/
Allow: /wp-content/uploads
</code> </code>
هنا بقة انا منعت جوجل GOOGLE انه يعمل زحف على اى ملف امتداه feed او خاص بالفيد او الاقسام او التاجز عشان ميقراش حاجه متكررة وطبعا زكرت كل الحالات بتاعت كل حاجة ومنعتها كلها
رمز PHP:
<code style="white-space:nowrap"> <code> Disallow: /feed
Disallow: /contact-us
Disallow: /feed/$
Disallow: /trackback
Disallow: /comments
Disallow: /search
Disallow: /tag
Disallow: /author
Disallow: /feed/
Disallow: /category/*/*
disallow: */trackback
disallow: */*/trackback
disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /z/
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /*feed=
Disallow: /?feed=
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*&cp=
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /wp-content/uploads
Allow: /*?$
</code> </code>
طبعا الكود code دوت انا كررتة مع
# MSN
User-agent: msnbot
# Yahoo!
User-agent: Slurp
# Ask
User-agent: Teoma
هتقولوليلى طيب لية انا محتهوش فى الاشياء المحزورة العامه
لانه مينفعش لانى مثلا مش عاوزة Googlebot تقرة الفيد او الاقسام بس عاوزة Mediapartners-Google الخاص بجوجل GOOGLE ادسنس يقراها وعاوزة كمان جوجل GOOGLE ايمج يقراها
فانا اتطريت انى احطها فكل محرك بحث على حدى وخليت الباقى يقراها عادى
فارجو من الخبراء يقولو رئيهم
وبعدين حطيت
رمز PHP:
<code style="white-space:nowrap"> <code> User-agent: Googlebot-Image
Allow: /
</code> </code>
ثم
# رمز PHP:
<code style="white-space:nowrap"> <code> allow adsense bot on entire site
User-agent: Mediapartners-Google
Disallow: /*.php$
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Allow: /index.php
</code> </code>
لانى طبعا يهمنى ان زحف ادسنس يم على المواضيع والاقسام مش الملفات اللى ملهاش لزمة
اه صحيح انا لغيت زحف جوجل GOOGLE على الصور وخليت جوجل GOOGLE للصور بس عهوه اللى يزحف عليها
ها اية رئيكم
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©