linnou
11-01-2013, بتوقيت غرينيتش 09:33 PM
من قوقل google نصأ:-
منع الصفحات أو إزالتها باستخدام ملف robots.txt
طباعة
يقيد ملف robots.txt file الدخول إلى موقعك بوحدات روبوت محركات البحث التي تزحف على الويب. وبرامج التتبع هذه تلقائية، وقبل أن تصل إلى صفحات أحد المواقع، تتحقق أولاً من وجود ملف robots.txt الذي يمنعها من الوصول إلى صفحات محددة. (جميع برامج الروبوت حسنة السمعة تحترم الأوامر المضمنة في ملف robots.txt، إلا أن البعض قد يفسرها على نحو مختلف. ومع ذلك، ليس ملف robots.txt ملزمًا، وقد يتجاهله بعض مرسلي الرسائل غير المرغوب فيها ومثيري المتاعب الآخرين. ولهذا السبب، ننصح باستخدام كلمة مرور لحماية المعلومات السرية.)
ولا يلزم ملف robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث. أما إذا أردت أن تفهرس محركات البحث جميع محتوى موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).
على الرغم من أن محرك بحث Google لن يزحف إلى محتوى الصفحات الممنوعة عن طريق ملف robots.txt أو يفهرس هذا المحتوى، إلا أننا قد نستمر في فهرسة عناوين URL إذا وجدناها على صفحات أخرى على الويب. ونتيجة لذلك، قد يظهر عنوان URL للصفحة وربما المعلومات الأخرى المتاحة بشكل عام مثل النص الأساسي لروابط الموقع، أو العنوان من مشروع الدليل المفتوح (www.dmoz.org)طŒ (http://www.dmoz.org)،) ضمن نتائج بحث Google.
لاستخدام ملف robots.txt، يلزم الدخول إلى جذر النطاق (وإن لم تكن متأكدًا من ذلك، فراجع الأمر مع مضيف الويب). إذا لم يكن لك حق الوصول إلى جذر النطاق، فيمكنك تقييد الوصول باستخدام علامة meta لبرامج الروبوت.
اقتباس
لمنع إدراج محتويات الصفحة تمامًا في فهرس الويب لـ Google، حتى ولو كانت المواقع الأخرى بها روابط إليها، استخدم العلامة الوصفية لمنع الفهرسة. وأثناء بحث Googlebot عن الصفحة وجلبها إياها، ترصد العلامة الوصفية لمنع الفهرسة وتمنع ظهور هذه الصفحة في فهرس الويب.
يمكن الاطلاع على وصف معيار علامة meta لمنع الفهرسة على http://www.robotstxt.org/meta.html. وتكون هذه الطريقة مفيدة في حالة عدم امتلاكك حق وصول جذر إلى خادمك؛ حيث يتيح لك ذلك الأمر التحكم في الوصول إلى موقعك على أساس صفحة بصفحة.
ولمنع كل برامج الروبوت من فهرسة إحدى الصفحات في موقعك، ضع علامة meta التالية في قسم <head> من صفحتك:
<meta name="robots" content="noindex">
وللسماح لبرامج الروبوت الأخرى بفهرسة الصفحة في موقعك، ومنع برامج الروبوت التابعة لـ Google فقط من فهرسة الصفحة:
<meta name="googlebot" content="noindex">
وعند ظهور علامة meta لمنع الفهرسة في إحدى الصفحات، تستبعد Google هذه الصفحة من نتائج البحث نهائيًا، حتى وإن كانت هناك صفحات أخرى ترتبط بها. غير أن محركات البحث الأخرى قد تفسر هذا الأمر على نحو مختلف. ونتيجة لذلك، قد يستمر أحد الروابط المؤدية إلى الصفحة في الظهور ضمن نتائج بحث هذه المحركات.
لاحظ أنه نظرًا لضرورة الزحف إلى صفحتك بحثًا عن علامة meta لمنع الفهرسة، فهناك احتمال ضعيف ألا يجد Googlebot علامة meta لمنع الفهرسة ويضعها في الاعتبار. وإذا استمر ظهور صفحتك في النتائج، فمن المحتمل أن يكون ذلك بسبب عدم الزحف إلى صفحتك منذ إضافة العلامة. (وكذلك إذا كنت قد استخدمت ملف robots.txt لمنع هذه الصفحة، فسيتعذر العثور على العلامة أيضًا.)
إذا كان الفهرس يتضمن المحتوى حاليًا، فسنزيله في المرة التالية التي نزحف فيها إليه. ولتعجيل عملية الإزالة، استخدم أداة طلب إزالة عناوين URL ضمن أدوات مشرفي المواقع من Google.
المصدر www.google.com (http://www.google.com)
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
منع الصفحات أو إزالتها باستخدام ملف robots.txt
طباعة
يقيد ملف robots.txt file الدخول إلى موقعك بوحدات روبوت محركات البحث التي تزحف على الويب. وبرامج التتبع هذه تلقائية، وقبل أن تصل إلى صفحات أحد المواقع، تتحقق أولاً من وجود ملف robots.txt الذي يمنعها من الوصول إلى صفحات محددة. (جميع برامج الروبوت حسنة السمعة تحترم الأوامر المضمنة في ملف robots.txt، إلا أن البعض قد يفسرها على نحو مختلف. ومع ذلك، ليس ملف robots.txt ملزمًا، وقد يتجاهله بعض مرسلي الرسائل غير المرغوب فيها ومثيري المتاعب الآخرين. ولهذا السبب، ننصح باستخدام كلمة مرور لحماية المعلومات السرية.)
ولا يلزم ملف robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث. أما إذا أردت أن تفهرس محركات البحث جميع محتوى موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).
على الرغم من أن محرك بحث Google لن يزحف إلى محتوى الصفحات الممنوعة عن طريق ملف robots.txt أو يفهرس هذا المحتوى، إلا أننا قد نستمر في فهرسة عناوين URL إذا وجدناها على صفحات أخرى على الويب. ونتيجة لذلك، قد يظهر عنوان URL للصفحة وربما المعلومات الأخرى المتاحة بشكل عام مثل النص الأساسي لروابط الموقع، أو العنوان من مشروع الدليل المفتوح (www.dmoz.org)طŒ (http://www.dmoz.org)،) ضمن نتائج بحث Google.
لاستخدام ملف robots.txt، يلزم الدخول إلى جذر النطاق (وإن لم تكن متأكدًا من ذلك، فراجع الأمر مع مضيف الويب). إذا لم يكن لك حق الوصول إلى جذر النطاق، فيمكنك تقييد الوصول باستخدام علامة meta لبرامج الروبوت.
اقتباس
لمنع إدراج محتويات الصفحة تمامًا في فهرس الويب لـ Google، حتى ولو كانت المواقع الأخرى بها روابط إليها، استخدم العلامة الوصفية لمنع الفهرسة. وأثناء بحث Googlebot عن الصفحة وجلبها إياها، ترصد العلامة الوصفية لمنع الفهرسة وتمنع ظهور هذه الصفحة في فهرس الويب.
يمكن الاطلاع على وصف معيار علامة meta لمنع الفهرسة على http://www.robotstxt.org/meta.html. وتكون هذه الطريقة مفيدة في حالة عدم امتلاكك حق وصول جذر إلى خادمك؛ حيث يتيح لك ذلك الأمر التحكم في الوصول إلى موقعك على أساس صفحة بصفحة.
ولمنع كل برامج الروبوت من فهرسة إحدى الصفحات في موقعك، ضع علامة meta التالية في قسم <head> من صفحتك:
<meta name="robots" content="noindex">
وللسماح لبرامج الروبوت الأخرى بفهرسة الصفحة في موقعك، ومنع برامج الروبوت التابعة لـ Google فقط من فهرسة الصفحة:
<meta name="googlebot" content="noindex">
وعند ظهور علامة meta لمنع الفهرسة في إحدى الصفحات، تستبعد Google هذه الصفحة من نتائج البحث نهائيًا، حتى وإن كانت هناك صفحات أخرى ترتبط بها. غير أن محركات البحث الأخرى قد تفسر هذا الأمر على نحو مختلف. ونتيجة لذلك، قد يستمر أحد الروابط المؤدية إلى الصفحة في الظهور ضمن نتائج بحث هذه المحركات.
لاحظ أنه نظرًا لضرورة الزحف إلى صفحتك بحثًا عن علامة meta لمنع الفهرسة، فهناك احتمال ضعيف ألا يجد Googlebot علامة meta لمنع الفهرسة ويضعها في الاعتبار. وإذا استمر ظهور صفحتك في النتائج، فمن المحتمل أن يكون ذلك بسبب عدم الزحف إلى صفحتك منذ إضافة العلامة. (وكذلك إذا كنت قد استخدمت ملف robots.txt لمنع هذه الصفحة، فسيتعذر العثور على العلامة أيضًا.)
إذا كان الفهرس يتضمن المحتوى حاليًا، فسنزيله في المرة التالية التي نزحف فيها إليه. ولتعجيل عملية الإزالة، استخدم أداة طلب إزالة عناوين URL ضمن أدوات مشرفي المواقع من Google.
المصدر www.google.com (http://www.google.com)
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
