المساعد الشخصي الرقمي

مشاهدة النسخة كاملة : ملف robots.txt يعمل على ظهور ارشفة indexation يومية سريعة - عن تجربة



admin
11-01-2013, بتوقيت غرينيتش 10:27 PM
السلام عليكم ورحمة الله وبركاته
الاخوة الافاضل
كنت اعانى فى الفترة السابقة من غياب عناكب قوقل google بموقعى دامت لفترة وكنت اتجول فى النت لاجد حلا للمشكلة
وقمت بطرح المشكلة فى منتدى digital point المعروف
ولاحظت ان مشاركتى تأرشفت فى قوقل google بعد دقائق
خطرت ببالى فكرة ان استعين بروبوت موقعهم وهو خاص بالجيل الرابع VBULLETIN G4
نسخته كاملا وركبته
ولله الحمد عادت العناكب والارشفة indexation لموقعى وكانت الروابط تظهر بعد نصف ساعة واحيانا بعد ساعة
ولكم ان تقوموا بالتجربة والله المستعان
ملف الروبوت ( نفسه المركب على digital point )

رمز PHP:

<code style="white-space:nowrap"> <code> User-agent: BoardTracker
Disallow: /

User-agent: Gigabot
Disallow: /

User-agent: StackRambler
Disallow: /

User-agent: Twiceler
Disallow: /

# User-agent: bingbot
# going to lift it's crawl delay restrictions now that they moved to HTTP/1.1
# Crawl-delay: 10
# /sbin/route add -net 65.52.0.0 netmask 255.252.0.0 reject // block all of Microsoft if it doesn't adhere

# Does not use HTTP/1.1 with compression
# These are the brain dead spiders from major search engines
#
# User-agent: Yahoo! Slurp
# Disallow: /
# Allow: if ($_SERVER&#91;"SERVER_PROTOCOL"&#93; === 'HTTP/1.1' || $relevancy > 0)
#
# Learn to use a HTTP protocol standard that's more than a decade old
# http://www.w3.org/Protocols/rfc2068/rfc2068.txt

User-agent: Mediapartners-Google
Allow: /member.php
Allow: /private.php
Allow: /usercp.php

User-agent: *
Disallow: /editpost.php
Disallow: /inlinemod.php
Disallow: /itrader_feedback.php
Disallow: /itunes.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /newreply.php



Disallow: /payments.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showpost.php
Disallow: /usercp.php
Disallow: /usernote.php
</code> </code>

وهكذا موجود بمنتداى
http://www.saad6.com/robots.txt


ملاحظة للاخوة اللى منتداهم فى مجلد اخر مثل vb
يجب التغيير الى

Disallow: /vb/xxxx.php




https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©

استعمل مربع البحث في الاسفل لمزيد من المواضيع


سريع للبحث عن مواضيع في المنتدى