Chakira
11-01-2013, بتوقيت غرينيتش 11:22 PM
تناقش هذه الصفحة كيفية إزالة المحتوى الخاص بك (الصفحات والمواقع والصور وأشياء أخرى) من فهرس Google. لتنفيذ ذلك تحتاج إلى إجراء بعض التغييرات في موقعك، ثم انتظار زحف محرك بحث Google إلى موقعك مرة أخرى. ويمكنك تعجيل ذلك باستخدام أداة إزالة عناوين URL في أدوات مشرفي المواقع.
لإزالة المحتوى أو منع محركات البحث من الزحف إلى محتوى موقعك، تحتاج إلى استخدام شيء أو شيئين مما يلي:
1/ ملف robots.txt
يقيد ملف robots.txt الدخول إلى موقعك عن طريق وحدات روبوت محركات البحث التي تزحف على الويب. (لاحظ أنه، على الرغم من أن محرك بحث Google لن يزحف إلى محتوى الصفحات الممنوعة عن طريق ملف robots.txt أو يفهرس هذا المحتوى، إلا أننا قد نستمر في فهرسة عناوين URL إذا وجدناها على صفحات أخرى على الويب.) لاستخدام ملف robots.txt، يلزم امتلاك حق الدخول إلى جذر الخادم
2/ علامة meta لمنع الفهرسة
وعند ظهور علامة meta لمنع الفهرسة في صفحة، يستبعد محرك بحث Google هذه الصفحة من نتائج البحث تمامًا، حتى وإن كانت هناك صفحات أخرى ترتبط بها. إذا كان الفهرس يتضمن المحتوى حاليًا، فسنزيله في المرة التالية التي نزحف فيها إليه. تسمح لك علامة meta بالتحكم في الوصول إلى موقعك على أساس صفحة بصفحة، حيث تعتبر هذه الطريقة مفيدة إذا لم يكن لديك حق الدخول إلى جذر الخادم. (ينبغي أن تكون قادرًا على تعديل HTML المصدر لصفحتك.)
ما الذي تريد إزالته؟
1/ موقعي أو دليلي بالكامل
لمنع برامج الروبوت من الزحف إلى موقعك، أضف الأمر التالي إلى ملف robots.txt:
User-agent: *
Disallow: /لإزالة موقعك من محرك بحث Google فقط ومنع زحف Googlebot إلى موقعك في المستقبل، استخدم الأمر التالي:
User-agent: Googlebot
Disallow: / يجب أن يكون لكل منفذ ملف robots.txt الخاص به. وبصفة خاصة، إذا كنت تعرض محتوى من خلال كل من بروتوكول http وبروتوكول https، فستحتاج إلى ملف robots.txt منفصل لكل من هذين البروتوكولين. على سبيل المثال، للسماح لبرنامج Googlebot بفهرسة كل صفحات http وليس صفحات https، يجب أن تستخدم أوامر robots.txt أدناه.
بالنسبة لبرتوكول http (http://yourserver.ae/robots.txt):
User-agent: *
Allow: /بالنسبة لبرتوكول https (https://yourserver.ae/robots.txt):
User-agent: *
Disallow: /
2/ صفحة ويب
لمنع جميع برامج الروبوت من فهرسة صفحة على موقعك، استخدم علامة meta لمنع الفهرسة. ضع ما يلي في قسم من صفحتك:
<meta name="robots" content="noindex">وللسماح لبرامج الروبوت الأخرى بفهرسة صفحة في موقعك، مع منع برامج الروبوت التابعة لـ Google فقط من فهرسة الصفحة:
<meta name="googlebot" content="noindex">
لاحظ أنه نظرًا لضرورة الزحف إلى صفحتك بحثًا عن علامة meta لمنع الفهرسة، فهناك احتمال ضعيف ألا يجد Googlebot علامة meta لمنع الفهرسة ويضعها في الاعتبار. وإذا استمر ظهور صفحتك في النتائج، فمن المحتمل أن يكون ذلك بسبب عدم الزحف إلى صفحتك منذ إضافة العلامة. (وكذلك إذا كنت قد استخدمت ملف robots.txt لمنع هذه الصفحة، فسيتعذر الدخول إلى هذه الصفحة والعثور على العلامة.)
3/ صورة
لإزالة صورة من فهرس صور Google، أضف أمرًا إلى ملف robots.txt. على سبيل المثال، إذا كنت تريد أن يستبعد محرك بحث Google الصورة dogs.jpg والتي تظهر على موقعك على العنوان www.yoursite.com/images/dogs.jpgطŒ (http://www.yoursite.com/images/dogs.jpg،) فأضِف ما يلي:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
لإزالة جميع الصور على موقعك من فهرسنا، أضف الأمر التالي إلى ملف robots.txt:
User-agent: Googlebot-Image
Disallow: /
يمكن أن تتضمن أنماط عدم السماح (Disallow) العلامة النجمية "*" لتتطابق مع أي تسلسل للأحرف، وقد تنتهي الأنماط بعلامة "$" لتشير إلى نهاية الاسم. لإزالة جميع الملفات الخاصة بنوع معين من الملفات (على سبيل المثال، لتضمين الصور بامتداد jpg. وليست الصور بالامتداد gif.)، استخدم إدخال robots.txt التالي:
User-agent: Googlebot-Image
Disallow: /*.gif$
عن طريق تحديد Googlebot-Image كوكيل المستخدم، يتم استبعاد الصور من بحث الصور من Google. وإذا أردت استبعاد الصور من جميع عمليات البحث على Google (بما في ذلك بحث الويب من Google وصور Google)، فحدد User-agent Googlebot.
4/ نسخة مخبأة لإحدى الصحفات
يأخذ محرك Google تلقائيًا "لقطة" من كل صفحة يزحف إليها ويضعها في الأرشيف. وهذه النسخة "المخبأة" تسمح باسترداد صفحة الويب للمستخدمين عند عدم توفر الصفحة الأصلية في أي وقت (نتيجة لعطل مؤقت في خادم الويب لهذه الصفحة). حيث تظهر النسخة المخبأة من الصفحة للمستخدمين بنفس الشكل الذي كانت تظهر عليه في آخر مرة زحف إليها محرك Google، ويتم عرض رسالة في أعلى هذه الصفحة للإشارة إلى أنها نسخة مخبأة. وبإمكان المستخدمين الدخول إلى النسخة المخبأة عن طريق اختيار الرابط "نسخة مخبأة" المعروض في صفحة نتائج البحث.
يجب اتخاذ إحدى الخطوات التالية قبل البدء:
تحديث update النسخة المخبأة من الصفحة، غيّر محتوى الصفحة. وفي المرة القادمة التي يزحف فيها Google إلى الصفحة، ستُحدّث النسخة المخبأة.
لإزالة النسخ المخبأة من الصفحة من فهرس Google ومنع Google من تخزين الصفحة في ذاكرة التخزين المؤقت في المستقبل، يجب إضافة العلامة الوصفية لمنع الأرشفة indexation إلى هذه الصفحة. وفي المرة القادمة التي يزحف فيها Google إلى هذا الموقع، سيرصد العلامة ويزيلها من الصفحة
بعد اكتمال تلك العملية، يمكنك استخدام أداة إزالة عنوان URL في أدوات مشرفي المواقع لطلب تعجيل إزالة المحتوى المخبأ الحالي إلى أن يزحف محرك بحث Google إلى هذا الموقع ويخزِّن مؤقتًا النسخة الجديدة من الصفحة.
لمنع جميع محركات البحث من عرض الرابط "نسخة مخبأة" لموقعك، ضع العلامة التالية في القسم <HEAD> في صفحتك:
<meta name="robots" content="noarchive">لمنع محرك بحث Google وحده من عرض أحد هذه الروابط، استخدم العلامة التالية:
<meta name="googlebot" content="noarchive">ملاحظة: يؤدي استخدام علامة meta لمنع الأرشفة indexation إلى إزالة رابط "نسخة مخبأة" للصفحة فقط. بينما يتابع محرك بحث Google فهرسة هذه الصفحة وعرض مقتطف منها.
5/ صفحة قديمة أو رابط قديم
يعمل محرك Google على تحديث update الفهرس بأكمله بصورة دورية. فعندما نزحف على الويب، فإننا نكتشف تلقائيًا وجود صفحات جديدة، ونزيل الروابط القديمة، كما نعكس التحديث updateات في الصفحات الموجودة، مما يعمل على إبقاء فهرس Google محدثًا بقدر الإمكان.
إذا ظهرت الصفحات القديمة من موقعك في نتائج البحث، فتحقق من أن الصفحة تعرض الحالة 404 (لم يتم العثور عليها) أو 410 (تمت إزالتها) في رأس الصفحة. وتتمثل وظيفة رموز الحالة هذه في إعلام Googlebot أن عنوان URL المطلوب غير صالح. وهناك بعض الخوادم التي تتم تهيئتها بطريقة خاطئة لتعرض الحالة 200 (يعمل بنجاح) للصفحات غير الموجودة، وهذا يخبر Googlebot أن عناوين URL المطلوبة صالحة ويجب فهرستها. إذا كانت الصفحة تعرض رمز خطأ 404 فعلي عبر رؤوس http، فيمكن لأي أحد إزالتها من فهرس Google باستخدام أداة طلب إزالة صفحة ويب. الصفحات القديمة التي لا تعرض رموز خطأ 404 فعلي عادةً ما تخرج من فهرسنا بطبيعة الحال عندما تتوقف الصفحات الأخرى عن الارتباط بها.
رابط المقال الاصلي (http://www.google.com/support/webmasters/bin/answer.py?hl=ar&answer=156412)
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
لإزالة المحتوى أو منع محركات البحث من الزحف إلى محتوى موقعك، تحتاج إلى استخدام شيء أو شيئين مما يلي:
1/ ملف robots.txt
يقيد ملف robots.txt الدخول إلى موقعك عن طريق وحدات روبوت محركات البحث التي تزحف على الويب. (لاحظ أنه، على الرغم من أن محرك بحث Google لن يزحف إلى محتوى الصفحات الممنوعة عن طريق ملف robots.txt أو يفهرس هذا المحتوى، إلا أننا قد نستمر في فهرسة عناوين URL إذا وجدناها على صفحات أخرى على الويب.) لاستخدام ملف robots.txt، يلزم امتلاك حق الدخول إلى جذر الخادم
2/ علامة meta لمنع الفهرسة
وعند ظهور علامة meta لمنع الفهرسة في صفحة، يستبعد محرك بحث Google هذه الصفحة من نتائج البحث تمامًا، حتى وإن كانت هناك صفحات أخرى ترتبط بها. إذا كان الفهرس يتضمن المحتوى حاليًا، فسنزيله في المرة التالية التي نزحف فيها إليه. تسمح لك علامة meta بالتحكم في الوصول إلى موقعك على أساس صفحة بصفحة، حيث تعتبر هذه الطريقة مفيدة إذا لم يكن لديك حق الدخول إلى جذر الخادم. (ينبغي أن تكون قادرًا على تعديل HTML المصدر لصفحتك.)
ما الذي تريد إزالته؟
1/ موقعي أو دليلي بالكامل
لمنع برامج الروبوت من الزحف إلى موقعك، أضف الأمر التالي إلى ملف robots.txt:
User-agent: *
Disallow: /لإزالة موقعك من محرك بحث Google فقط ومنع زحف Googlebot إلى موقعك في المستقبل، استخدم الأمر التالي:
User-agent: Googlebot
Disallow: / يجب أن يكون لكل منفذ ملف robots.txt الخاص به. وبصفة خاصة، إذا كنت تعرض محتوى من خلال كل من بروتوكول http وبروتوكول https، فستحتاج إلى ملف robots.txt منفصل لكل من هذين البروتوكولين. على سبيل المثال، للسماح لبرنامج Googlebot بفهرسة كل صفحات http وليس صفحات https، يجب أن تستخدم أوامر robots.txt أدناه.
بالنسبة لبرتوكول http (http://yourserver.ae/robots.txt):
User-agent: *
Allow: /بالنسبة لبرتوكول https (https://yourserver.ae/robots.txt):
User-agent: *
Disallow: /
2/ صفحة ويب
لمنع جميع برامج الروبوت من فهرسة صفحة على موقعك، استخدم علامة meta لمنع الفهرسة. ضع ما يلي في قسم من صفحتك:
<meta name="robots" content="noindex">وللسماح لبرامج الروبوت الأخرى بفهرسة صفحة في موقعك، مع منع برامج الروبوت التابعة لـ Google فقط من فهرسة الصفحة:
<meta name="googlebot" content="noindex">
لاحظ أنه نظرًا لضرورة الزحف إلى صفحتك بحثًا عن علامة meta لمنع الفهرسة، فهناك احتمال ضعيف ألا يجد Googlebot علامة meta لمنع الفهرسة ويضعها في الاعتبار. وإذا استمر ظهور صفحتك في النتائج، فمن المحتمل أن يكون ذلك بسبب عدم الزحف إلى صفحتك منذ إضافة العلامة. (وكذلك إذا كنت قد استخدمت ملف robots.txt لمنع هذه الصفحة، فسيتعذر الدخول إلى هذه الصفحة والعثور على العلامة.)
3/ صورة
لإزالة صورة من فهرس صور Google، أضف أمرًا إلى ملف robots.txt. على سبيل المثال، إذا كنت تريد أن يستبعد محرك بحث Google الصورة dogs.jpg والتي تظهر على موقعك على العنوان www.yoursite.com/images/dogs.jpgطŒ (http://www.yoursite.com/images/dogs.jpg،) فأضِف ما يلي:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
لإزالة جميع الصور على موقعك من فهرسنا، أضف الأمر التالي إلى ملف robots.txt:
User-agent: Googlebot-Image
Disallow: /
يمكن أن تتضمن أنماط عدم السماح (Disallow) العلامة النجمية "*" لتتطابق مع أي تسلسل للأحرف، وقد تنتهي الأنماط بعلامة "$" لتشير إلى نهاية الاسم. لإزالة جميع الملفات الخاصة بنوع معين من الملفات (على سبيل المثال، لتضمين الصور بامتداد jpg. وليست الصور بالامتداد gif.)، استخدم إدخال robots.txt التالي:
User-agent: Googlebot-Image
Disallow: /*.gif$
عن طريق تحديد Googlebot-Image كوكيل المستخدم، يتم استبعاد الصور من بحث الصور من Google. وإذا أردت استبعاد الصور من جميع عمليات البحث على Google (بما في ذلك بحث الويب من Google وصور Google)، فحدد User-agent Googlebot.
4/ نسخة مخبأة لإحدى الصحفات
يأخذ محرك Google تلقائيًا "لقطة" من كل صفحة يزحف إليها ويضعها في الأرشيف. وهذه النسخة "المخبأة" تسمح باسترداد صفحة الويب للمستخدمين عند عدم توفر الصفحة الأصلية في أي وقت (نتيجة لعطل مؤقت في خادم الويب لهذه الصفحة). حيث تظهر النسخة المخبأة من الصفحة للمستخدمين بنفس الشكل الذي كانت تظهر عليه في آخر مرة زحف إليها محرك Google، ويتم عرض رسالة في أعلى هذه الصفحة للإشارة إلى أنها نسخة مخبأة. وبإمكان المستخدمين الدخول إلى النسخة المخبأة عن طريق اختيار الرابط "نسخة مخبأة" المعروض في صفحة نتائج البحث.
يجب اتخاذ إحدى الخطوات التالية قبل البدء:
تحديث update النسخة المخبأة من الصفحة، غيّر محتوى الصفحة. وفي المرة القادمة التي يزحف فيها Google إلى الصفحة، ستُحدّث النسخة المخبأة.
لإزالة النسخ المخبأة من الصفحة من فهرس Google ومنع Google من تخزين الصفحة في ذاكرة التخزين المؤقت في المستقبل، يجب إضافة العلامة الوصفية لمنع الأرشفة indexation إلى هذه الصفحة. وفي المرة القادمة التي يزحف فيها Google إلى هذا الموقع، سيرصد العلامة ويزيلها من الصفحة
بعد اكتمال تلك العملية، يمكنك استخدام أداة إزالة عنوان URL في أدوات مشرفي المواقع لطلب تعجيل إزالة المحتوى المخبأ الحالي إلى أن يزحف محرك بحث Google إلى هذا الموقع ويخزِّن مؤقتًا النسخة الجديدة من الصفحة.
لمنع جميع محركات البحث من عرض الرابط "نسخة مخبأة" لموقعك، ضع العلامة التالية في القسم <HEAD> في صفحتك:
<meta name="robots" content="noarchive">لمنع محرك بحث Google وحده من عرض أحد هذه الروابط، استخدم العلامة التالية:
<meta name="googlebot" content="noarchive">ملاحظة: يؤدي استخدام علامة meta لمنع الأرشفة indexation إلى إزالة رابط "نسخة مخبأة" للصفحة فقط. بينما يتابع محرك بحث Google فهرسة هذه الصفحة وعرض مقتطف منها.
5/ صفحة قديمة أو رابط قديم
يعمل محرك Google على تحديث update الفهرس بأكمله بصورة دورية. فعندما نزحف على الويب، فإننا نكتشف تلقائيًا وجود صفحات جديدة، ونزيل الروابط القديمة، كما نعكس التحديث updateات في الصفحات الموجودة، مما يعمل على إبقاء فهرس Google محدثًا بقدر الإمكان.
إذا ظهرت الصفحات القديمة من موقعك في نتائج البحث، فتحقق من أن الصفحة تعرض الحالة 404 (لم يتم العثور عليها) أو 410 (تمت إزالتها) في رأس الصفحة. وتتمثل وظيفة رموز الحالة هذه في إعلام Googlebot أن عنوان URL المطلوب غير صالح. وهناك بعض الخوادم التي تتم تهيئتها بطريقة خاطئة لتعرض الحالة 200 (يعمل بنجاح) للصفحات غير الموجودة، وهذا يخبر Googlebot أن عناوين URL المطلوبة صالحة ويجب فهرستها. إذا كانت الصفحة تعرض رمز خطأ 404 فعلي عبر رؤوس http، فيمكن لأي أحد إزالتها من فهرس Google باستخدام أداة طلب إزالة صفحة ويب. الصفحات القديمة التي لا تعرض رموز خطأ 404 فعلي عادةً ما تخرج من فهرسنا بطبيعة الحال عندما تتوقف الصفحات الأخرى عن الارتباط بها.
رابط المقال الاصلي (http://www.google.com/support/webmasters/bin/answer.py?hl=ar&answer=156412)
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
