loulou ange
11-01-2013, بتوقيت غرينيتش 10:02 PM
السلام عليكم أخوتي الكرام
سنشرح طريقة في هذا الموضوع
ملف الروبوت
وطريقة تكوينه وأهم صفاته ومميزاته
مقدمة:
سنشرح طريقة فى هذا الدرس مفصل كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس مفصل ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس مفصل بتركيز .
معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ….الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب
ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة indexation محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع
حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده
بأختصار:
اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:
سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية http://www.example.com/welcome.html (http://www.example.com/welcome.html) قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف http://www.example.com/robots.txt (http://www.example.com/robots.txt), وسنفترض مثلا انه وجد به الكود code التالى
كود code:
User-agent: *Disallow: /
هذا الكود code يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث
كود code:
User-agent: *
وهذا الكود code يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد
لاحظ النقاط التالية:
بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها
سننتقل الان الى الجزء الاهم فى هذا الشرح طريقة فرجاء التركيز
كيف يمكنك عمل ملف الـ robots.txt ؟
وهذا السؤال ينقسم الى عدة نقاط
اولا : اين يوضع ملف الـ robots.txt ؟
الاجابة المختصره على هذا السؤال:
يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيب installه سيكون بهذا الشكل http://www.example.com/robots.txt (http://www.example.com/robots.txt)
الاجابة المفصله لهذا السؤال :
ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt"
[right]مثال على ذلك بالنسبة لهذا الرابط http://www.example.com/shop/index.html (http://www.example.com/shop/index.html) ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط http://www.example.com/robots.txt (http://www.example.com/robots.txt)
وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT
ماذا سأضع بداخل ملف الـ robots.txt ؟
ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
الامر ابسط مما تتخيلون
سنشرح طريقة عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها
كود code:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/
بواسطتة هذا الكود code قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها
لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده
كود code:
User-agent: *Disallow: /
بواسطة هذا الكود code نمنع كل عناكب محركات البحث من ارشفة indexation كل محتويات الموقع
كود code:
User-agent: *Disallow:
هذا الكود code يسمح لجميع العناكب بالدخول وارشفة indexation جميع محتويات الموقع ويمكنك الاستغناء عن هذا الكود code برفع ملف robots.txt فارغ او عدم عمل الملف نهائيا
كود code:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /junk/
بواسطة هذا الكود code منعنا جميع العناكب من زيارة اقسام معينه من الموقع
كود code:
User-agent: BadBotDisallow: /
يستخدم هذا الكود code لمنع عناكب احد محركات البحث
كود code:
User-agent: GoogleDisallow:User-agent: *Disallow: /
هذا الكود code يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون
كود code:
User-agent: *Disallow: /~joe/junk.htmlDisallow: /~joe/foo.htmlDisallow: /~joe/bar.html
وبالطبع هذا الكود code لأستثناء الملفات كما هو ظاهر
_________________
الدرس مفصل القادم سيشرح طريقة بعض الاوامر الاخرى المميزه مع اجابة للأسئله الشائعة التى تدور بذهن اى صاحب موقع عن بطلنا ملف الـ robots.txt
شبكة عيون الحبايب العراقيه
http://www.3eyon.net/vb
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
سنشرح طريقة في هذا الموضوع
ملف الروبوت
وطريقة تكوينه وأهم صفاته ومميزاته
مقدمة:
سنشرح طريقة فى هذا الدرس مفصل كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس مفصل ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس مفصل بتركيز .
معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ….الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب
ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة indexation محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع
حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده
بأختصار:
اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:
سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية http://www.example.com/welcome.html (http://www.example.com/welcome.html) قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف http://www.example.com/robots.txt (http://www.example.com/robots.txt), وسنفترض مثلا انه وجد به الكود code التالى
كود code:
User-agent: *Disallow: /
هذا الكود code يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث
كود code:
User-agent: *
وهذا الكود code يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد
لاحظ النقاط التالية:
بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها
سننتقل الان الى الجزء الاهم فى هذا الشرح طريقة فرجاء التركيز
كيف يمكنك عمل ملف الـ robots.txt ؟
وهذا السؤال ينقسم الى عدة نقاط
اولا : اين يوضع ملف الـ robots.txt ؟
الاجابة المختصره على هذا السؤال:
يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيب installه سيكون بهذا الشكل http://www.example.com/robots.txt (http://www.example.com/robots.txt)
الاجابة المفصله لهذا السؤال :
ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt"
[right]مثال على ذلك بالنسبة لهذا الرابط http://www.example.com/shop/index.html (http://www.example.com/shop/index.html) ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط http://www.example.com/robots.txt (http://www.example.com/robots.txt)
وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT
ماذا سأضع بداخل ملف الـ robots.txt ؟
ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
الامر ابسط مما تتخيلون
سنشرح طريقة عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها
كود code:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/
بواسطتة هذا الكود code قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها
لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده
كود code:
User-agent: *Disallow: /
بواسطة هذا الكود code نمنع كل عناكب محركات البحث من ارشفة indexation كل محتويات الموقع
كود code:
User-agent: *Disallow:
هذا الكود code يسمح لجميع العناكب بالدخول وارشفة indexation جميع محتويات الموقع ويمكنك الاستغناء عن هذا الكود code برفع ملف robots.txt فارغ او عدم عمل الملف نهائيا
كود code:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /junk/
بواسطة هذا الكود code منعنا جميع العناكب من زيارة اقسام معينه من الموقع
كود code:
User-agent: BadBotDisallow: /
يستخدم هذا الكود code لمنع عناكب احد محركات البحث
كود code:
User-agent: GoogleDisallow:User-agent: *Disallow: /
هذا الكود code يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون
كود code:
User-agent: *Disallow: /~joe/junk.htmlDisallow: /~joe/foo.htmlDisallow: /~joe/bar.html
وبالطبع هذا الكود code لأستثناء الملفات كما هو ظاهر
_________________
الدرس مفصل القادم سيشرح طريقة بعض الاوامر الاخرى المميزه مع اجابة للأسئله الشائعة التى تدور بذهن اى صاحب موقع عن بطلنا ملف الـ robots.txt
شبكة عيون الحبايب العراقيه
http://www.3eyon.net/vb
https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©
