المساعد الشخصي الرقمي

مشاهدة النسخة كاملة : [GoogleWebmaster]مشاكل عند الزحف للموقع من Googlebot بسبب robots.txt



Chakira
11-01-2013, بتوقيت غرينيتش 10:54 PM
بسم الله الرحمن الرحيم
السلام عليكم ورحمة الله وبركاته

فيديو تطرق له المهندس mattcutts المسؤول عن تحديث updateات خوارزميات محرك البحث Search Engine في شركة google




Why might Googlebot get errors when trying to access my robots.txt file? - YouTube (http://youtu.be/XMyz7-D96vQ)

بالرد على الأستفسارات :

اقتباس
انني اتلقى أخطاء من أدوات مشرفي المواقع من Google عن الزحف Googlebot عدم القدرة على جلب robots.txt الخاص بي 50٪

مختصر ماتطرق له هو :



robots.txt
الموقع
المستضيف أو المسمى سيرفر SERVER الموقع
جلب مثل Google


ملف الروبوت وضيفة هذا الملف هو لحجب صفحات لانريد ظهورها وفهرستها في محركات البحث
وهذا الأمر تطرقت لهُ مسبقا بحذف ملف الروبوت نهائياً
لا حاجة لملف robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث (http://www.dzbatna.com/t2167303/)
ألبعض يعشق هذا الملف ولايحبذ فكرة حذفه لكن أقول لك اخي العزيز توكل على الله وقم بحذفهِ لأن الخوارزميات الجديدة لن تفهرس لكَ الصفحات المتعدده وباقي الامور تقدر انت كـ صاحب موقع ان تمنعها من الفهرسة بذكائك
مثلاً لسكريبات الـفيبويلتن في بي vBulletin يكفي ان نحذف ارتباطات الملفات الشخصية وعمل نوفلو لجميع الروابط الخارجيه للموقع وايضاً الوردبريس وغيرها من السكريبات المتعارف عليها هو اضافة عملها وضع نوفلو على الروابط الخارجية والملفات الشخصية للأعضاء, اما الصفحات المنفرده او تعدد الصفحات فهذا الآمر أتركه لـGooglebot هو يختار رابط واحد من الروابط المتعدده ليتم فهرسته كـ مرجع مهم
تم التطرق لهذا الامر للصفحات المتعدده في يوم 14/11/2014
How will Google interpret links to URLs ending with a campaign tag? - YouTube (http://youtu.be/qr2Rg8sJRUU)

لكي أريكم مزيد من التوافق تابع معي :

تحديد العنوان المتعارف عليه - مساعدة أدوات مشرفي المواقع (http://support.google.com/webmasters/bin/answer.py?hl=ar&hlrm=en&answer=139066)

الآن نتطرق الى الموقع :

طبعاً نعذر أصحاب المواقع بسبب التحديث updateات التي تحصل ومستمرة بشكل دوري من قبل الويب ماستر
صاحب الموقع بدون قصد ولهدف الرقي بموقعه يتوجه ويركب أي منتج plugin يصادفه والذي يحمل أسم تحسين فهرسة موقعه وعند دخولك للوحة التحكم تلاقي يمكن متواجد 30 منتج plugin المسمى هاك product أو هالك الموقع بقصد او بدون قصد بواسطة خطأ برمجي بسيط يؤدي ألى تدمير موقع بالكامل طبعاً نشكر المبرمجين أو معربين الهاك productات بشكل أصح جزيل الشكر على تعريبهم لتلك الهاك productات لفائده اخوانهم لكنها تكون سرطان يُزرع في لوحة تحكم المنتدى forum وكذلك الامر مع الوردبريس والجملة joomla وغيرها التي تسمى بالاضافات ,
كثرتها يؤدي الى هلاك محقق للموقع يكفي ان يتم تركيب install منتج pluginين الى ثلاث وتكون المنتج pluginات مفحوصه من قبل مختصين ومن اشخاص ذو ثقه وشهادة من قبل المختصين,

الآن نتطرق الى المستضيف أو مايسمى سيرفر SERVER الموقع :

لانريد أن نصب دائماً كل مشاكلنا على المستضيف لكنه بشر مثلنا والبشر يقع في أخطاء مستمرة , بدون قصد من قبل المستضيف حاول من باب عمل حماية على سيرفر SERVERه بحجب داله داله معينه او تركيب install منتج plugin قد طرح على الساحة حديثاً والنيجة باتت على اصحاب المواقع بعدم قدرة دخول محركات البحث بسبب هذا المنتج plugin او تلك الداله أو التغيير في الأعدادات بدون قصد ولكن عمل حجب لمتصفح معين او لآيبي معين وهذا الآيبي يكون متجذر ولايوجد أيبي فردي

الآن نتطرق الى جلب مثل Google:

عند عملية جلب اي صفحة هنا يعطيك الويب ماستر لقطة لموقعك كما يشاهدها goggle
+شفرة تفيد بحالة الزحف بعد الآنتهاء من عملية الزحف نضغط على العبارة تم الإجراء بنجاح.
وقتها ستظهر شفرة HtML اهم مافي الامر وعند عدم وجود مشاكل ان شاء الله سيكون اول سطر هو
HTTP/1.1 200 OK وبقية الاكواد تقدر تشوف منها ان كانت توجد كلمات
اوشفرات لاترغب في ظهورها
ألمهم هل لاحظت محرك البحث Search Engine كيف يشاهد موقعك!
لايرى اسماء اقسام ملونة ولايرى اكواد تجميلة لكنها تحمله عبء عند الزحف
لموقعك والسبب هذه الاكواد التجميلية او اكواد جافا او الستائل الفلاشي
,,, الخ يجد صعوبه في تتبع الروابط والزحف لصفحات موقعك,

همسه : أخي صاحب الموقع أبتعد قدر المستطاع عن تركيب install الهاك productات التي لاتخدم موقعك
أبتعد قدر الامكان عن التعديلات على القوالب او تغيير ستايل style الموقع بشكل مستمر
أبتعد قدر الامكان عن نقل موقعك كل فتره من استضافة HOTING الى استضافة HOTING اخرى أجعل اختيارك لأستضافة تكون موثوقه مجربة قليلة المشاكل لأن لاتوجد استضافة HOTING خالية 100 من المشاكل


عذراً للأطالة,
تحياتي وتقديري للجميع,







https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©

استعمل مربع البحث في الاسفل لمزيد من المواضيع


سريع للبحث عن مواضيع في المنتدى