المساعد الشخصي الرقمي

مشاهدة النسخة كاملة : الاسئلة الشائعة حول ملف الـrobots.txt وعناكب محركات البحث



said
11-01-2013, بتوقيت غرينيتش 06:45 PM
هذا الموضوع سنجيب فيه عن معظم ااسئلة التى قد تتبادر فى ذهنك عن ملف الـ robots.txt ومحركات البحث فتابع بتركيز
اذا كنت تشعر بالملل من القراءة فيكفيك قراءة الاسئلة التى امامها كلمة (هام)

بسم الله الرحمن الرحيم

اسئلة تتعلق بعناكب محركات البحث
=====================
ما هى عناكب محركات البحث؟
عناكب محركات البحث عبارة عن برامج تعمل اوتوماتيكيا على استعراض محتويات صفحات الويب عن طريق المرور بأحد هذه الصفحات ومراجعة كل الصفحات التى تتصل بها

ما هو الوكيل "agent" ?
هذه الكلمة لها العديد من المعانى هذه الايام لكن ما يهمنا هو الـ user-agent وهو اسم تقنى للبرامج لاتى تقوم بمهام محددة على شبكة الانترنت ولصالح شخص معين مثل العناكب فهى تقوم بمهام الارشفة indexation لصالح محركات البحث

ما هو محرك البحث Search Engine؟



يقصد به اى فورم تستخدم للبحث خلال قاعدة بيانات تحتوى على روابط تم جمعها بواسطة عناكب محرك البحث Search Engine

فى اى شىء تستخدم العناكب؟"هام"
تستخدمالعناكب لمهام متعددة هى :

1. الفهرسة "الارشفة indexation"
2. التحقق من تكوين الصفحات
3. التحقق من الروابط
4. المراقبة والتتبع
5. تتبع ارتباط الصفحات ببعضها

هل العناكب تضر الموقع؟
فى الماضى كانت العناكب تسبب ضغط كبير على الشبكات والسيرفر SERVERات لكن الان تطورت كثيرا ولم تعد تسبب اى ضغط على السيرفر SERVERات وخاصة عناكب محركات ابحث لكن الاخطار قد تأتى من العناكب التى تأتى الموقع لتسحب الايمبلات او لتبحث عن ثغرات امنيه

اسئلة حول عناكب محركات البحث:
================
كيف تقرر العناكب زيارة رابط معين ؟"هام"
هذا يتوقف على استراتيجية محرك البحث Search Engine ولكن فى معظم الاحوال اذا لم تخبرها بوجود رابط جديد فهى تنطلق من مجموعة من الروابط تقوم بتحديدها على حسب استراتيجية محرك البحث Search Engine ثم تتنقل بين الروابط وغابا اروابط التى تبدأ بزياراتها هى اشهر المواقع على الويب او الصفحات التى تحتوى على روابط كثيره او الصفحات التى لها روابط فى مواقع اخرى كثيره "الباك لينك backlink"

كيف تحدد العناكب المحتوى الذى ستقوم بأرشفته؟
القاعدة العامة ان عناكب محركات البحث اذا علمت بوجود رابط جديد فإنها تذهب اليه لتقوم بأرشفته ولكن الاسلوب يختلف من محرك بحث لآخر : بعض المحركات تقوم بأرشفة indexation العناوين فقط او الاسطر الاولى من محتوى الصفحة والبعض الاخر يقوم بأرشفة indexation جميع محتويات الصفحة وهذا يعتمد على كيفية بناء الصفحة وبعض المحركات يهتم بوصف الصفحة او الكلمات المفتاحية وهى اشياء خفية لا يراها الزائر ولكن بعض محركات البحث يهتم بها وتتطور هذه الايام الاوامر التى يمكنك توجيه العناكب بها والسماح لها بأرشفة indexation محتوى معين او تجاهل محتوى معين عن طريق كيفية بناءك للصفحة

كيف يمكننى اضافة موقعى لمحرك بحث معين؟
تقوم انت كصاحب موقع بأضافة موقعك او تنتظر حتى تأتى العناكب اليه عن طريق اى رابط اخر يتصل بموقعك وبعض محركات البحث تمكنك من متابعة موقعك مثل Google عن طريق عرضة لخدمات اصحاب المواقع

كيف يمكننى الحصول على ارشفة indexation مثالية لموقعى بمحركات ابحث؟"هام"
هذا ما يسمى بالـ SEO " Search Engine Optimisation" ,وهوكيفية تهيئة موقعك لمحركات البحث وتوجد الاف النصائح والتعليمات والمعلومات التى يتداولها البعض وهى خاطئة وأليك مجموعة من اهم التعليمات التى يجب ان ترعيها كصاحب موقع:

1. حاول بتصميم موقعك ان تستخدم النصوص بدلا من الصور والفلاشات
2. حاول تنظيم موقعك والتركيز على الصفحات الهامة والرئيسية
3. لا تستخدم الاطارات فى تصميم صفحات موقعك frames and iframes
4. حاول ان تكون روابط موقعك بصيغة html ولا تستخدم روابط طويلة وتحتوى على علامات استفهام
5. حاول ان تنشر موقعك بمواقع لها محتوى مشابة لموقعك او من نفس التخصص
6. لا تحاول ابدا خداع محركات البحث والتزم جيدا بالقوانين

هل يمكننى حذف روابط موقع يمتلكه شخص اخر من محركات البحث؟
لا يمكنك فعل ذلك من تلقاء نفسك ابدا ولكن يمكنك اخبار محرك البحث Search Engine نفسه اذا وجدت موقع يخالف قوانين وشروط هذا المحرك ولكل محرك بحث طريقة يمكنك اخباره بها

اسئلة تتعلق بمدير الموقع
===========
كيف اعرف ان احد عناكب محركات البحث زار موقعى؟
يمكنك مراجعة سجل اداء السيرفر SERVER "logs" لمعرفة مصادر الزيارات لموقعك وفى الغالب اذا تكررت زيارة من مصدر معين ووجدت الزيارة قد استغرقت نفس المدة تقريبا فتأكد ان هذه عناكب لمحركات البحث ويمكنك الكشف عن المصدر للتأكد من ذلك ,ايضا اذا كان السيرفر SERVER يحتوى على تسجيل لأداء الـ User-agent فيمكنك من معرفة ذلك ايضا
, وهناك طريقة اخرى تمكنك من زلك اذا وجدت تكرار كثير لزيارة ملف الـ robots.txt
كل الطرق السابقة طرق بدائيه جدا يمكنك متابعة زوارك بمنتهى السهولة عن طريق بعض البرمجيات كما ان معظم البرمجيات الان تهتم بتوضيح وتفصيل زيارات عناكب محركات البحث نظرا لأهميتها

اذا زار موقعى احد عناكب محركات البحث ماذا افعل؟
لا كانت هذه العناكب معروفة لديك مثل عناكب google او yahoo فلا تفعل شىء فقط حاول ان تهتم بالـSEO ,اما اذا كانت العناكب مجهولة بالنسبة لك ولا تدرى هل هى خطيرة ام لا يمكنك حجبها عن طريق ملف الـrobots.txt

احد العناكب يستهلك موارد السيرفر SERVER بشكل كبير ماذا افعل؟"هام"
فى هذه الحالة لديك بعض الحلول او حل هو ان تقوم بأستخدام هذا الامر Crawl-delay: 1 للتقليل من سرعة تواجد هذه العناكب الضارة , ثانى حل: ان تقوم بحب هذه العناكب نهائيا , ثالث حل ان تتصل بمحرك البحث Search Engine التابع له العناكب لتخبرهم بما تسببه لك عناكبهم من مشاكل

كيف يمكننى حجب احد العناكب؟"هام"
عن طريق هذا الامر
رمز Code:
User-agent: BadBot Disallow: /
الموضوع مترجم مع بعض الاضافات التوضيحية
وضعته فقط بالمواقع التالية "ديزاد باتنة- سوالف سوفت- ارابيا فور سيرف"
عن النقل يرجى ذكر المصدر الاصلى
http://forum.arabia4serv.com/t17681.html




https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©

استعمل مربع البحث في الاسفل لمزيد من المواضيع


سريع للبحث عن مواضيع في المنتدى