admin
11-01-2013, بتوقيت غرينيتش 09:15 PM
إذا إنت خبير بروبوتس فإني أقدم لك هذا الموضوع
بسم الله
أخواني أريد أن أقدم لكم ماذا يقول جوجل GOOGLE بالنسبة لملف الروبوتس ... والأمر ألو ويسألو
تفضل إقرأ
اقتباس
استخدام ملف robots.txt للتحكم في الوصول إلى موقعك
طباعة (http://javascriptb/b:window.print();)
إن أسهل طريقة لإنشاء ملف robots.txt هي استخدام أداة "إنشاء ملفات robots.txt" الموجودة ضمن أدوات مشرفي المواقع. وبمجرد إنشاء الملف، يمكنك استخدام أداة "تحليل ملف robots.txt" للتأكد من أنه موافق لتوقعاتك.
بمجرد إنشاء ملف robots.txt، قم بحفظه في جذر النطاق لديك باسم robots.txt. وهذا هو المكان الذي ستقوم برامج الروبوت بالبحث عن ملفك فيه. فإذا قمت بحفظه في مكان آخر، فسيتعذر العثور عليه.
كما يمكنك إنشاء ملف robots.txt يدويا باستخدام أي محرر نصوص. على أن يكون ملفا نصيا بترميز ASCII، وليس ملف HTML. ويجب أن يكون اسم الملف مكتوبًا بحروف صغيرة.
البنية
يعتمد أبسط ملف robots.txt على قاعدتين:
User-Agent: برنامج الروبوت الذي تنطبق عليه القاعدة التالية
Disallow: عنوان URL الذي تريد منعه
يتم اعتبار هذين السطرين إدخالاً واحدًا في الملف. يمكنك تضمين أي عدد تريده من الإدخالات. كما يمكنك تضمين سطور Disallow وUser-Agent متعددة في الإدخال الواحد.
ما الذي يجب إدراجه في سطر User-Agent؟
وكيل المستخدم (User-Agent) هو برنامج روبوت معين لمحرك البحث Search Engine. ويندرج ضمن قاعدة بيانات برامج روبوت الويب (http://www.robotstxt.org/wc/active.html) العديد من برامج التتبع الشائعة. يمكنك تعيين أحد الإدخالات لتخصيصه لبرنامج تتبع محدد (بإدراج الاسم) أو يمكنك تعيينه لكل برامج التتبع (بإدراج علامة النجمة *). ويظهر الإدخال المخصص لكل برامج التتبع بهذا الشكل:
User-agent: *تستخدم Google العديد من برامج التتبع (user-agent) المختلفة. وبرنامج التتبع المستخدم لبحث الويب الخاص بنا هو Googlebot. وتتبع برامج التتبع الأخرى لدينا مثل Googlebot-Mobile وGooglebot-Image القواعد التي تقوم بإعدادها لبرنامج Googlebot، ولكن يمكنك أيضا إعداد قواعد إضافية لهذه البرامج تحديدا.
ما الذي يجب إدراجه في سطر Disallow؟
يعرض السطر Disallow الصفحات التي تريد منعها. ويمكنك إدراج عنوان URL محدد أو نمط محدد. ويجب أن يبدأ الإدخال بشرطة أمامية مائلة (/).
لمنع الموقع بالكامل، استخدم شرطة أمامية مائلة. Disallow: /
لمنع دليل وكل ما يحتويه، اتبع اسم الدليل بشرطة أمامية مائلة. Disallow: /junk-directory/
لمنع صفحة، قم بإدراج الصفحة. Disallow: /private_file.html
لإزالة صورة معينة من بحث الصور على Google، قم بإضافة ما يلي: User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
لإزالة جميع الصور الموجودة على موقعك من بحث الصور على Google: User-agent: Googlebot-ImageDisallow: /
لمنع نوع محدد من الملفات (على سبيل المثال، .gif)، فعليك أن تستخدم ما يلي: User-agent: GooglebotDisallow: /*.gif$
لمنع الزحف إلى صفحات موقعك مع الاستمرار في عرض إعلانات AdSense على تلك الصفحات، قم بمنع جميع برامج التتبع باستثناء Mediapartners-Google. وبذلك لا يتم عرض الصفحات ضمن نتائج البحث، ولكن يتم السماح لبرنامج الروبوت Mediapartners-Google بتحليل الصفحات لتحديد الإعلانات التي سيتم عرضها. ولا يقوم برنامج الروبوت Googlebot-MediaPartners بمشاركة الصفحات مع أنواع user-agent أخرى من Google. على سبيل المثال: User-agent: *Disallow: /folder1/User-agent: Mediapartners-GoogleAllow: /folder1/
يرجى ملاحظة أن الأوامر حساسة لحالة الأحرف. على سبيل المثال, يؤدي الأمر Disallow: /junk_file.asp إلى حظر http://www.example.com/junk_file.aspطŒ (http://www.example.com/junk_file.asp،) إلا أنه يسمح بـ http://www.example.com/Junk_file.asp.
تطابقات الأنماط
يقوم Googlebot (وليس كل محركات البحث الأخرى) بمراعاة بعض تطابقات الأنماط.
لمطابقة سلسلة من الرموز، قم باستخدام علامة النجمة (*).على سبيل المثال, لمنع الوصول إلى جميع الأدلة الفرعية التي تبدأ بكلمة "خاص": User-agent: GooglebotDisallow: /private*/
لمنع الوصول إلى جميع عناوين URL التي تتضمن علامة الاستفهام (?) (وبتعبير أدق، أي عنوان URL يبدأ باسم نطاقك, متبوعا بأية سلسلة, متبوعة بعلامة استفهام, متبوعة بأية سلسلة): User-agent: GooglebotDisallow: /*?
لتحديد تطابق نهاية عنوان URL ، استخدم الرمز $. على سبيل المثال، لمنع أية عناوين URL تنتهي بـ .xls: User-agent: GooglebotDisallow: /*.xls$
يمكنك استخدام هذا النوع من تطابق النمط مع الأمر (Allow). على سبيل المثال، إذا كانت العلامة (؟) تشير إلى معرِّف جلسة عمل، فقد ترغب في استبعاد كل عناوين URL التي تحتوي عليها لضمان عدم زحف Googlebot إلى صفحات مُكرَّرة. ولكن قد تكون عناوين URL التي تنتهي بالعلامة (؟) إصدارا للصفحة التي تريد تضمينها. وفي مثل هذه الحالة، يمكنك تعيين ملف robots.txt كما يلي: User-agent: *Allow: /*?$Disallow: /*?وسيقوم الأمر Disallow: / *? بمنع أي عنوان URL يتضمن العلامة (؟). (وبصورة أكثر دقة، سيمنع أي عنوان URL يبدأ باسم نطاقك, متبوعًا بأية سلسلة, متبوعة بعلامة استفهام, متبوعة بأية سلسلة).
وسيسمح الأمر Allow: /*?$ بأي عنوان URL ينتهي بعلامة (؟). (وبصورة أكثر دقة، سيسمح لأي عنوان URL يبدأ باسم نطاقك, متبوعًا بسلسلة, متبوعة بعلامة (؟), بدون أية أحرف بعد العلامة (؟)).
رابط الموضوع
http://www.google.com/support/webmasters/bin/answer.py?answer=40360&hl=ar (http://www.google.com/support/webmasters/bin/answer.py?answer=40360&hl=ar)
يعني مثل ما هو مكتوب يجب عليك إذا أردت أن تزحف الروبوتات إلى منتداك أن يكون الأمر Allow: /vb http://www.dzbatna.com/images/smilies/bigsmile.gif
للتأكيد قم بصنع ملف الروبوتس عن طريق جوجل GOOGLE من أدوات أصحاب المواقع http://www.dzbatna.com/images/smilies/bigsmile.gif
ستلاحظ أنه عندما تضيف أدله سيقوم بإعطائها الأمر ألو ...
رابط صنع الملف
https://www.google.com/webmasters/tools (https://www.google.com/webmasters/tools)
واختر إنشاء robots.txt
وأخيرأً أفضل ملف روبوتس في العالم هو
رمز PHP:
<code style="white-space:nowrap"> <code> User-Agent: *
Allow: /
</code> </code>
سلام http://www.dzbatna.com/images/smilies/cupidarrow.gif
الملفات المرفقة
http://www.traidnt.net/vb/images/attach/txt.gif robots.txt (http://www.traidnt.net/vb/attachments/428351d1258435805-robots.txt) (23 بايت, عدد مرات المشاهدة 35 مرة)
http://www.traidnt.net/vb/images/attach/zip.gif sitemap1.zip (http://www.traidnt.net/vb/attachments/428352d1258435838-sitemap1.zip) (2.6 كيلوبايت, عدد مرات المشاهدة 9 مرة)
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
بسم الله
أخواني أريد أن أقدم لكم ماذا يقول جوجل GOOGLE بالنسبة لملف الروبوتس ... والأمر ألو ويسألو
تفضل إقرأ
اقتباس
استخدام ملف robots.txt للتحكم في الوصول إلى موقعك
طباعة (http://javascriptb/b:window.print();)
إن أسهل طريقة لإنشاء ملف robots.txt هي استخدام أداة "إنشاء ملفات robots.txt" الموجودة ضمن أدوات مشرفي المواقع. وبمجرد إنشاء الملف، يمكنك استخدام أداة "تحليل ملف robots.txt" للتأكد من أنه موافق لتوقعاتك.
بمجرد إنشاء ملف robots.txt، قم بحفظه في جذر النطاق لديك باسم robots.txt. وهذا هو المكان الذي ستقوم برامج الروبوت بالبحث عن ملفك فيه. فإذا قمت بحفظه في مكان آخر، فسيتعذر العثور عليه.
كما يمكنك إنشاء ملف robots.txt يدويا باستخدام أي محرر نصوص. على أن يكون ملفا نصيا بترميز ASCII، وليس ملف HTML. ويجب أن يكون اسم الملف مكتوبًا بحروف صغيرة.
البنية
يعتمد أبسط ملف robots.txt على قاعدتين:
User-Agent: برنامج الروبوت الذي تنطبق عليه القاعدة التالية
Disallow: عنوان URL الذي تريد منعه
يتم اعتبار هذين السطرين إدخالاً واحدًا في الملف. يمكنك تضمين أي عدد تريده من الإدخالات. كما يمكنك تضمين سطور Disallow وUser-Agent متعددة في الإدخال الواحد.
ما الذي يجب إدراجه في سطر User-Agent؟
وكيل المستخدم (User-Agent) هو برنامج روبوت معين لمحرك البحث Search Engine. ويندرج ضمن قاعدة بيانات برامج روبوت الويب (http://www.robotstxt.org/wc/active.html) العديد من برامج التتبع الشائعة. يمكنك تعيين أحد الإدخالات لتخصيصه لبرنامج تتبع محدد (بإدراج الاسم) أو يمكنك تعيينه لكل برامج التتبع (بإدراج علامة النجمة *). ويظهر الإدخال المخصص لكل برامج التتبع بهذا الشكل:
User-agent: *تستخدم Google العديد من برامج التتبع (user-agent) المختلفة. وبرنامج التتبع المستخدم لبحث الويب الخاص بنا هو Googlebot. وتتبع برامج التتبع الأخرى لدينا مثل Googlebot-Mobile وGooglebot-Image القواعد التي تقوم بإعدادها لبرنامج Googlebot، ولكن يمكنك أيضا إعداد قواعد إضافية لهذه البرامج تحديدا.
ما الذي يجب إدراجه في سطر Disallow؟
يعرض السطر Disallow الصفحات التي تريد منعها. ويمكنك إدراج عنوان URL محدد أو نمط محدد. ويجب أن يبدأ الإدخال بشرطة أمامية مائلة (/).
لمنع الموقع بالكامل، استخدم شرطة أمامية مائلة. Disallow: /
لمنع دليل وكل ما يحتويه، اتبع اسم الدليل بشرطة أمامية مائلة. Disallow: /junk-directory/
لمنع صفحة، قم بإدراج الصفحة. Disallow: /private_file.html
لإزالة صورة معينة من بحث الصور على Google، قم بإضافة ما يلي: User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
لإزالة جميع الصور الموجودة على موقعك من بحث الصور على Google: User-agent: Googlebot-ImageDisallow: /
لمنع نوع محدد من الملفات (على سبيل المثال، .gif)، فعليك أن تستخدم ما يلي: User-agent: GooglebotDisallow: /*.gif$
لمنع الزحف إلى صفحات موقعك مع الاستمرار في عرض إعلانات AdSense على تلك الصفحات، قم بمنع جميع برامج التتبع باستثناء Mediapartners-Google. وبذلك لا يتم عرض الصفحات ضمن نتائج البحث، ولكن يتم السماح لبرنامج الروبوت Mediapartners-Google بتحليل الصفحات لتحديد الإعلانات التي سيتم عرضها. ولا يقوم برنامج الروبوت Googlebot-MediaPartners بمشاركة الصفحات مع أنواع user-agent أخرى من Google. على سبيل المثال: User-agent: *Disallow: /folder1/User-agent: Mediapartners-GoogleAllow: /folder1/
يرجى ملاحظة أن الأوامر حساسة لحالة الأحرف. على سبيل المثال, يؤدي الأمر Disallow: /junk_file.asp إلى حظر http://www.example.com/junk_file.aspطŒ (http://www.example.com/junk_file.asp،) إلا أنه يسمح بـ http://www.example.com/Junk_file.asp.
تطابقات الأنماط
يقوم Googlebot (وليس كل محركات البحث الأخرى) بمراعاة بعض تطابقات الأنماط.
لمطابقة سلسلة من الرموز، قم باستخدام علامة النجمة (*).على سبيل المثال, لمنع الوصول إلى جميع الأدلة الفرعية التي تبدأ بكلمة "خاص": User-agent: GooglebotDisallow: /private*/
لمنع الوصول إلى جميع عناوين URL التي تتضمن علامة الاستفهام (?) (وبتعبير أدق، أي عنوان URL يبدأ باسم نطاقك, متبوعا بأية سلسلة, متبوعة بعلامة استفهام, متبوعة بأية سلسلة): User-agent: GooglebotDisallow: /*?
لتحديد تطابق نهاية عنوان URL ، استخدم الرمز $. على سبيل المثال، لمنع أية عناوين URL تنتهي بـ .xls: User-agent: GooglebotDisallow: /*.xls$
يمكنك استخدام هذا النوع من تطابق النمط مع الأمر (Allow). على سبيل المثال، إذا كانت العلامة (؟) تشير إلى معرِّف جلسة عمل، فقد ترغب في استبعاد كل عناوين URL التي تحتوي عليها لضمان عدم زحف Googlebot إلى صفحات مُكرَّرة. ولكن قد تكون عناوين URL التي تنتهي بالعلامة (؟) إصدارا للصفحة التي تريد تضمينها. وفي مثل هذه الحالة، يمكنك تعيين ملف robots.txt كما يلي: User-agent: *Allow: /*?$Disallow: /*?وسيقوم الأمر Disallow: / *? بمنع أي عنوان URL يتضمن العلامة (؟). (وبصورة أكثر دقة، سيمنع أي عنوان URL يبدأ باسم نطاقك, متبوعًا بأية سلسلة, متبوعة بعلامة استفهام, متبوعة بأية سلسلة).
وسيسمح الأمر Allow: /*?$ بأي عنوان URL ينتهي بعلامة (؟). (وبصورة أكثر دقة، سيسمح لأي عنوان URL يبدأ باسم نطاقك, متبوعًا بسلسلة, متبوعة بعلامة (؟), بدون أية أحرف بعد العلامة (؟)).
رابط الموضوع
http://www.google.com/support/webmasters/bin/answer.py?answer=40360&hl=ar (http://www.google.com/support/webmasters/bin/answer.py?answer=40360&hl=ar)
يعني مثل ما هو مكتوب يجب عليك إذا أردت أن تزحف الروبوتات إلى منتداك أن يكون الأمر Allow: /vb http://www.dzbatna.com/images/smilies/bigsmile.gif
للتأكيد قم بصنع ملف الروبوتس عن طريق جوجل GOOGLE من أدوات أصحاب المواقع http://www.dzbatna.com/images/smilies/bigsmile.gif
ستلاحظ أنه عندما تضيف أدله سيقوم بإعطائها الأمر ألو ...
رابط صنع الملف
https://www.google.com/webmasters/tools (https://www.google.com/webmasters/tools)
واختر إنشاء robots.txt
وأخيرأً أفضل ملف روبوتس في العالم هو
رمز PHP:
<code style="white-space:nowrap"> <code> User-Agent: *
Allow: /
</code> </code>
سلام http://www.dzbatna.com/images/smilies/cupidarrow.gif
الملفات المرفقة
http://www.traidnt.net/vb/images/attach/txt.gif robots.txt (http://www.traidnt.net/vb/attachments/428351d1258435805-robots.txt) (23 بايت, عدد مرات المشاهدة 35 مرة)
http://www.traidnt.net/vb/images/attach/zip.gif sitemap1.zip (http://www.traidnt.net/vb/attachments/428352d1258435838-sitemap1.zip) (2.6 كيلوبايت, عدد مرات المشاهدة 9 مرة)
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
