السلام عليكم ورحمة الله وبركاته
اول شي : الموضوع لأحد الاخويه حفظة الله وحبيت انقله لكم للفايده
ملف الربوت هوا اولى الخطوات لتميز موقعك فى محركات البحث
فهو الباب الذى يطرقه الاسبيدرز قبل دخول موقعك
فيمكنك من التحكم فى فهرسة جزء معين من الموقع والغاء فهرسه جزى معين
ولذالك احببت ان افسر بعض المبادء الخاصه به
نفتح ملف تكست txt جديد ونغير اسمه الى robot.txt
ونضع به الكود code التالى
رمز PHP:
<code style="white-space:nowrap"> <code> User-agent: *
Disallow: /cgi-bin/
</code> </code>
* = جميع روبوتات " عناكب " البحث
الان اين تضع ملف الربوت ؟
يجب ان يكون فى رئسيه الموقع على الشكل التالى :
رمز PHP:
<code style="white-space:nowrap"> <code> www.yorsitename.tld/robots.txt
</code> </code>
وهذي قائمه بأسماء السبايدرز
رمز PHP:
<code style="white-space:nowrap"> <code> Spider Name Search Engine
AbachoBOT Abacho
Acoon Acoon
AESOP_com_SpiderMan Aesop
ah-ha.com crawler Ah-ha
appie Walhello
Arachnoidea Euroseek
ArchitextSpider Excite
Atomz Atomz
DeepIndex DeepIndex
ESISmartSpider Ttravel Finder
EZResult EZResults
FAST-WebCrawler AlltheWeb
Fido PlanetSearch
Fluffy the spider SearchHippo
Googlebot Google
Gigabot Gigablast
Gulliver Northernlight
Gulper Yuntis
HenryTheMiragoRobot Mirago
ia_archiver Alexa
KIT-Fireball Fireball
LNSpiderguy Lexis-Nexis -
Lycos_Spider_(T-Rex) Lycos
MantraAgent LookSmart
MSN Microsoft Prototype Crawler
NationalDirectory-SuperSpider National Directory -
Nazilla Websmostlinked -
Openbot Openfind -
Openfind piranha,Shark Openfind -
Scooter AltaVista
Scrubby Scrub The Web
Slurp.so/1.0 Inktomi
Slurp/2.0j Inktomi
Slurp/2.0 Inktomi
Slurp/3.0 Inktomi
Tarantula AltaVista
Teoma_agent1 Teoma
UK Searcher Spider UKSearcher -
WebCrawler WebCrawler -
Winona WhatUSeek
ZyBorg Wisenut
</code> </code>
وهذا الملف جاهز للي يباه
http://gulfn.net/up/uploads/4922f0ee38.zip
والسلام عليكم ورحمة الله وبركاته
رد مع اقتباس
