ما هى عناكب محركات البحث؟

عناكب محركات البحث هي برامج تعمل على استعراض محتويات صفحات المواقع علي الإنترنت تلقائيا ومراجعة كل الصفحات التي تتصل بها و أيضا تقوم بأرشفة indexation المواقع أو فهرستها و التحقق من تكوين الصفحات و الروابط.

كيف تحدد العناكب المحتوى الذي ستقوم بأرشفته؟

اذا علمت بوجود رابط جديد فإنها سوق تقوم بالذهاب إليه لتبدأ بعملية أرشفته و قد يختلف اسلوبها من محرك بحث لآخر.

كيف يمكنني إضافة موقعي لمحركات البحث؟

تستطيع أن تقوم انت بعملية إضافة الموقع و كمثال علي اشهر محرك بحث في العالم جووجل. يمكنك الذهاب إلي هذه الصفحة لإضافة موقعك له Overview – Submit your content – Google او تنتظر حتى تأتى العناكب إليه عن طريق رابط اخر يتصل بالموقع الخاص بك.

كيف يمكننى الحصول على ارشفة indexation مثالية لموقعى بمحركات ابحث؟

هذا ما يسمى بعملية تهيئة الموقع لمحركات البحث أو SEO "Search Engine Optimization"

ما هو ملف Robot.txt؟

هو ملف هام يتحكم بكيفية دخول محركات البحث إلي الموقع و يتحكم بصلاحية بعض الملفات التي لا تريد أن يتم أرشفتها في موقعك حيث انك قد يكون لديك بعض الأقسام في موقعك لا تريد أرشفتها بسبب إنها محتوي متكرر أو منقول (و هو ما يتعارض مع قوانين محركات البحث و جووجل بالأخص) , أو أي سبب اخر و أيضا لملف Robot txt

مهمة أخرى وهي تقليل استهلاك الباندويث لموقعك ، بما انك ستقوم بحجب بعض أفسام موقعك من الأرشفة indexation أي عناكب البحث لن تستطيع دخولها.



كيفية تعديل Robot txt:




يمكننا ذلك بسهولة عن طريق تنصيب setup إضافة في الووردبريس تدعى WP Robots Txt

شرح طريقة الاضافة بالصور







هذا الملف يعمل بأمرين و هما

سماح Allow
عدم السماح Disallow

يمكنك دراسة محتوى موقعك ومعرفة ما تريد وما ﻻ تريد وكتابة الملف بشكل يدوي و يمكنك أيضا أن تقوم باستخدام هذه الإعدادات الجيدة فقط قم بنسخها و لصقها في محتوي ملف الروبوتس رمز Code:
User-agent: Googlebot Disallow: /wp- Disallow: /search Disallow: /feed Disallow: /comments/feed Disallow: /feed/$ Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /external%20files/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /trackback/ Disallow: /feed/ Disallow: /*feed= Disallow: /?feed= Disallow: /comments/ Disallow: /private/ Disallow: /*tag= Disallow: /*?tag= Disallow: /*m= Disallow: /*cat= Disallow: /*&cp= Disallow: /*page_id= Disallow: /*?paged= Disallow: /*comments_popup= Disallow: /*paged= Allow: /*cat=6 Allow: /wp-content/uploads/ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.cgi$ # disallow all files ending with these extensions Disallow: /*.html$ Disallow: /*.doc$ Disallow: /*.flv$ Disallow: /*.swf$ User-Agent: MJ12bot






©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى©