بخصوص ملف robots.txt
يمكن مراجعة هدا موضوع
http://www.arabwebtalk.com/showthread.php?t=39803
كدلك
http://qatardr.net/class/905
افتح المفكرة و أكتب الموجود الان في المثال وضعه على الدليل الرئيسي لموقعك
لاحظ اني منعت كثير من المواقع من دخول موقعي وهده مواقع مهمتها سرقة الايملات و عمل spam
كدلك منعت قوقل و بقية محركات البحث من دخول عدد من المجلدات المحظورة مثل مجلد admin و admincp و غيرها
http://www.zhra.net/sitemap.xml
كود:
# Allow Everything Disallow:
User-agent: Googlebot-Image
Allow: /*
User-agent:*
Allow: /* /cgi-bin/
Allow: /* /admin/
Allow: /* /tmp/
Allow: /* /cache/
Allow: /* /class/
Allow: /* /include/
Allow: /* /install/
Allow: /* /kernel/
Allow: /* /language/
Allow: /* /templates_c/
Allow: /* /themes/
Allow: /* /uploads/
User-agent: WebZip
Allow: /*
User-agent: larbin
Allow: /*
User-agent: b2w/0.1
Allow: /*
User-agent: Copernic
Allow: /*
User-agent: psbot
Allow: /*
User-agent: Python-urllib
Allow: /*
User-agent: NetMechanic
Allow: /*
User-agent: URL_Spider_Pro
Allow: /*
User-agent: CherryPicker
Allow: /*
User-agent: EmailCollector
Allow: /*
User-agent: EmailSiphon
Allow: /*
User-agent: WebBandit
Allow: /*
User-agent: EmailWolf
Allow: /*
User-agent: ExtractorPro
Allow: /*
User-agent: CopyRightCheck
Allow: /*
User-agent: Crescent
Allow: /*
User-agent: SiteSnagger
Allow: /*
User-agent: ProWebWalker
Allow: /*
User-agent: CheeseBot
Allow: /*
User-agent: LNSpiderguy
Allow: /*
User-agent: Alexibot
Allow: /*
User-agent: Teleport
Allow: /*
User-agent: TeleportPro
Allow: /*
User-agent: MIIxpc
Allow: /*
User-agent: Telesoft
Allow: /*
User-agent: Website Quester
Allow: /*
User-agent: WebZip
Allow: /*
User-agent: moget/2.1
Allow: /*
User-agent: WebZip/4.0
Allow: /*
User-agent: WebStripper
Allow: /*
User-agent: WebSauger
Allow: /*
User-agent: WebCopier
Allow: /*
User-agent: NetAnts
Allow: /*
User-agent: Mister PiX
Allow: /*
User-agent: WebAuto
Allow: /*
User-agent: TheNomad
Allow: /*
User-agent: WWW-Collector-E
Allow: /*
User-agent: RMA
Allow: /*
User-agent: libWeb/clsHTTP
Allow: /*
User-agent: asterias
Allow: /*
User-agent: httplib
Allow: /*
User-agent: turingos
Allow: /*
User-agent: spanner
Allow: /*
User-agent: InfoNaviRobot
Allow: /*
User-agent: Harvest/1.5
Allow: /*
User-agent: Bullseye/1.0
Allow: /*
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Allow: /*
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Allow: /*
User-agent: CherryPickerSE/1.0
Allow: /*
User-agent: CherryPickerElite/1.0
Allow: /*
User-agent: WebBandit/3.50
Allow: /*
User-agent: NICErsPRO
Allow: /*
User-agent: Microsoft URL Control - 5.01.4511
Allow: /*
User-agent: DittoSpyder
Allow: /*
User-agent: Foobot
Allow: /*
User-agent: SpankBot
Allow: /*
User-agent: BotALot
Allow: /*
User-agent: lwp-trivial/1.34
Allow: /*
User-agent: lwp-trivial
Allow: /*
User-agent: BunnySlippers
Allow: /*
User-agent: Microsoft URL Control - 6.00.8169
Allow: /*
User-agent: URLy Warning
Allow: /*
User-agent: Wget/1.6
Allow: /*
User-agent: Wget/1.5.3
Allow: /*
User-agent: Wget
Allow: /*
User-agent: LinkWalker
Allow: /*
User-agent: cosmos
Allow: /*
User-agent: moget
Allow: /*
User-agent: hloader
Allow: /*
User-agent: humanlinks
Allow: /*
User-agent: LinkextractorPro
Allow: /*
User-agent: Offline Explorer
Allow: /*
User-agent: Mata Hari
Allow: /*
User-agent: LexiBot
Allow: /*
User-agent: Web Image Collector
Allow: /*
User-agent: The Intraformant
Allow: /*
User-agent: True_Robot/1.0
Allow: /*
User-agent: True_Robot
Allow: /*
User-agent: BlowFish/1.0
Allow: /*
User-agent: JennyBot
Allow: /*
User-agent: MIIxpc/4.2
Allow: /*
User-agent: BuiltBotTough
Allow: /*
User-agent: ProPowerBot/2.14
Allow: /*
User-agent: BackDoorBot/1.0
Allow: /*
User-agent: toCrawl/UrlDispatcher
Allow: /*
User-agent: suzuran
Allow: /*
User-agent: TightTwatBot
Allow: /*
User-agent: VCI WebViewer VCI WebViewer Win32
Allow: /*
User-agent: VCI
Allow: /*
User-agent: Szukacz/1.4
Allow: /*
User-agent: Openfind data gatherer
Allow: /*
User-agent: Openfind
Allow: /*
User-agent: Xenu's Link Sleuth 1.1c
Allow: /*
User-agent: Xenu's
Allow: /*
User-agent: Zeus
Allow: /*
User-agent: RepoMonkey Bait & Tackle/v1.01
Allow: /*
User-agent: RepoMonkey
Allow: /*
User-agent: Microsoft URL Control
Allow: /*
User-agent: Openbot
Allow: /*
User-agent: URL Control
Allow: /*
User-agent: Zeus Link Scout
Allow: /*
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Allow: /*
User-agent: Webster Pro
Allow: /*
User-agent: EroCrawler
Allow: /*
User-agent: LinkScan/8.1a Unix
Allow: /*
User-agent: Keyword Density/0.9
Allow: /*
User-agent: Kenjin Spider
Allow: /*
User-agent: Iron33/1.0.2
Allow: /*
User-agent: Bookmark search tool
Allow: /*
User-agent: GetRight/4.2
Allow: /*
User-agent: FairAd Client
Allow: /*
User-agent: Gaisbot
Allow: /*
User-agent: Aqua_Products
Allow: /*
User-agent: Radiation Retriever 1.1
Allow: /*
User-agent: Flaming AttackBot
Allow: /*
User-agent: Makbot
Allow: /*
كذلك ملف sitemap.xml وهو ليس ضروي الإلتزام بهذا الاسم يمكن لك تعطية اي اسم لكن يجب تعرف لمحركات البحث في ملف robot.txt
يوجد برامج تقوم بعمل ذلك
و استطيع اقول ان اغلب هده البرامج لا تنجح في عمل sitemap مميزة لموقعك
ولو كان موقعك صغير
فالافضل ان تعملها بطريقة يدوية
يمكن هذا الموقع يعمل لك sitemap الى 500 رابط من موقعك
سوف ابحث لك عن درس مبسط قليلاً وسوف تتعلم ذلك