أستفسار عن محتويات ملف robots

[admin]

السلام عليكم

إخواني

وجدت الكثير يتكلم عن ملف robots

ودخل موقعي ووجدته كذا كما في الربط

http://www.ml7n.com/robots.txt




ووجدت كثير من اللفات بالمنتدى forum تختلف بأضافه كلام زي هالكلام يلي اسفل

وأتمنا أعرف هل ملف robots عندي ناقص أو أنه مفتوح العناكب

مع العلم أنا لدي خرائط

مثل كذا وما شفتها باالملف

Sitemap: http:///sitemap.xml
Sitemap: http://ml7n/vb/sitemap.html
Sitemap: http://ml7n/vb/sitemap.php


وهذا ملف أحد ملف robots التي شفتها بالمنتدى forum

7
7
7

##############################
# Add by Sara Tancredi - 2014#
##############################


##############################
# Google
##############################
User-agent: googlebot
Disallow: /cgi-bin/
Disallow: /images/
Disallow:*/vb/admincp/
Disallow:*/vb/clientscript/
Disallow:*/vb/cpstyles/
Disallow:*/vb/customavatars/
Disallow:*/vb/customprofilepics/
Disallow:*/vb/images/
Disallow:*/vbmodcp/
Disallow:*/vb/ajax.php
Disallow:*/vb/attachment.php
Disallow:*/vb/calendar.php
Disallow:*/vb/cron.php
Disallow:*/vb/editpost.php
Disallow:*/vb/global.php
Disallow:*/vb/image.php
Disallow:*/vb/inlinemod.php
Disallow:*/vb/joinrequests.php
Disallow:*/vb/login.php
Disallow:*/vb/member.php
Disallow:*/vb/memberlist.php
Disallow:*/vb/misc.php
Disallow:*/vb/moderator.php
Disallow:*/vb/newattachment.php
Disallow:*/vb/newreply.php
Disallow:*/vb/newthread.php
Disallow:*/vb/online.php
Disallow:*/vb/poll.php
Disallow:*/vb/postings.php
Disallow:*/vb/printthread.php
Disallow:*/vb/private.php
Disallow:*/vb/profile.php
Disallow:*/vb/register.php
Disallow:*/vb/report.php
Disallow:*/vb/reputation.php
Disallow:*/vb/search.php
Disallow:*/vb/sendmessage.php
Disallow:*/vb/showgroups.php
Disallow:*/vb/subscription.php
Disallow:*/vb/threadrate.php
Disallow:*/vb/usercp.php
Disallow:*/vb/usernote.php
Disallow:*/vb/calendar.php

##############################
# MSN
##############################
User-agent: MSNBOT
Disallow: /cgi-bin/
Disallow: /images/

##############################
# MSN2
##############################
User-agent: msnbot-media/1.0
Disallow: /cgi-bin/
Disallow: /images/

##############################
# ALEXA
##############################
User-agent: alexa_site_report
Disallow: /cgi-bin/
Disallow: /images/

##############################
# YAHOO
##############################
User-agent: slurp
Disallow: /cgi-bin/
Disallow: /images/

##############################
# BAN OTHERS
##############################
User-agent: *
Disallow: /



http://www.ml7n.com/robots.txt




https://fbcdn-sphotos-d-a.akamaihd.net/hphotos-ak-ash4/482113_236967293114455_1193518507_n.png (http://www.dzbatna.com)
©المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى (http://www.dzbatna.com)©