[ريونة]

السلام عليكم
قوقل يطلب منى ملفين للمنتدى..كيف نحصل عليهم

sitmap.xml
robot.txt

هل هم برمجه ام هناك برامج اومواقع تعمل هالشىء ؟


مع الشكر مقدما

[Zhra]

بخصوص ملف robots.txt

يمكن مراجعة هدا موضوع
http://www.arabwebtalk.com/showthread.php?t=39803
كدلك
http://qatardr.net/class/905
افتح المفكرة و أكتب الموجود الان في المثال وضعه على الدليل الرئيسي لموقعك

لاحظ اني منعت كثير من المواقع من دخول موقعي وهده مواقع مهمتها سرقة الايملات و عمل spam
كدلك منعت قوقل و بقية محركات البحث من دخول عدد من المجلدات المحظورة مثل مجلد admin و admincp و غيرها

http://www.zhra.net/sitemap.xml

# Allow Everything  Disallow:  
User-agent: Googlebot-Image
Allow: /*
User-agent:*
Allow: /* /cgi-bin/
Allow: /* /admin/
Allow: /* /tmp/
Allow: /* /cache/
Allow: /* /class/
Allow: /* /include/
Allow: /* /install/
Allow: /* /kernel/
Allow: /* /language/
Allow: /* /templates_c/
Allow: /* /themes/
Allow: /* /uploads/

User-agent: WebZip 
Allow: /* 

User-agent: larbin 
Allow: /* 

User-agent: b2w/0.1 
Allow: /* 

User-agent: Copernic 
Allow: /* 

User-agent: psbot 
Allow: /* 

User-agent: Python-urllib 
Allow: /* 

User-agent: NetMechanic 
Allow: /* 

User-agent: URL_Spider_Pro 
Allow: /* 

User-agent: CherryPicker 
Allow: /* 

User-agent: EmailCollector 
Allow: /* 

User-agent: EmailSiphon 
Allow: /* 

User-agent: WebBandit 
Allow: /* 

User-agent: EmailWolf 
Allow: /* 

User-agent: ExtractorPro 
Allow: /* 

User-agent: CopyRightCheck 
Allow: /* 

User-agent: Crescent 
Allow: /* 

User-agent: SiteSnagger 
Allow: /* 

User-agent: ProWebWalker 
Allow: /* 

User-agent: CheeseBot 
Allow: /* 

User-agent: LNSpiderguy 
Allow: /* 

User-agent: Alexibot 
Allow: /* 

User-agent: Teleport 
Allow: /* 

User-agent: TeleportPro 
Allow: /* 

User-agent: MIIxpc 
Allow: /* 

User-agent: Telesoft 
Allow: /* 

User-agent: Website Quester 
Allow: /* 

User-agent: WebZip 
Allow: /* 

User-agent: moget/2.1 
Allow: /* 

User-agent: WebZip/4.0 
Allow: /* 

User-agent: WebStripper 
Allow: /* 

User-agent: WebSauger 
Allow: /* 

User-agent: WebCopier 
Allow: /* 

User-agent: NetAnts 
Allow: /* 

User-agent: Mister PiX 
Allow: /* 

User-agent: WebAuto 
Allow: /* 

User-agent: TheNomad 
Allow: /* 

User-agent: WWW-Collector-E 
Allow: /* 

User-agent: RMA 
Allow: /* 

User-agent: libWeb/clsHTTP 
Allow: /* 

User-agent: asterias 
Allow: /* 

User-agent: httplib 
Allow: /* 

User-agent: turingos 
Allow: /* 

User-agent: spanner 
Allow: /* 

User-agent: InfoNaviRobot 
Allow: /* 

User-agent: Harvest/1.5 
Allow: /* 

User-agent: Bullseye/1.0 
Allow: /* 

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) 
Allow: /* 

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 
Allow: /* 

User-agent: CherryPickerSE/1.0 
Allow: /* 

User-agent: CherryPickerElite/1.0 
Allow: /* 

User-agent: WebBandit/3.50 
Allow: /* 

User-agent: NICErsPRO 
Allow: /* 

User-agent: Microsoft URL Control - 5.01.4511 
Allow: /* 

User-agent: DittoSpyder 
Allow: /* 

User-agent: Foobot 
Allow: /* 

User-agent: SpankBot 
Allow: /* 

User-agent: BotALot 
Allow: /* 

User-agent: lwp-trivial/1.34 
Allow: /* 

User-agent: lwp-trivial 
Allow: /* 

User-agent: BunnySlippers 
Allow: /* 

User-agent: Microsoft URL Control - 6.00.8169 
Allow: /* 

User-agent: URLy Warning 
Allow: /* 

User-agent: Wget/1.6 
Allow: /* 

User-agent: Wget/1.5.3 
Allow: /* 

User-agent: Wget 
Allow: /* 

User-agent: LinkWalker 
Allow: /* 

User-agent: cosmos 
Allow: /* 

User-agent: moget 
Allow: /* 

User-agent: hloader 
Allow: /* 

User-agent: humanlinks 
Allow: /* 

User-agent: LinkextractorPro 
Allow: /* 

User-agent: Offline Explorer 
Allow: /* 

User-agent: Mata Hari 
Allow: /* 

User-agent: LexiBot 
Allow: /* 

User-agent: Web Image Collector 
Allow: /* 

User-agent: The Intraformant 
Allow: /* 

User-agent: True_Robot/1.0 
Allow: /* 

User-agent: True_Robot 
Allow: /* 

User-agent: BlowFish/1.0 
Allow: /* 

User-agent: JennyBot 
Allow: /* 

User-agent: MIIxpc/4.2 
Allow: /* 

User-agent: BuiltBotTough 
Allow: /* 

User-agent: ProPowerBot/2.14 
Allow: /* 

User-agent: BackDoorBot/1.0 
Allow: /* 

User-agent: toCrawl/UrlDispatcher 
Allow: /* 

User-agent: suzuran 
Allow: /* 

User-agent: TightTwatBot 
Allow: /* 

User-agent: VCI WebViewer VCI WebViewer Win32 
Allow: /* 

User-agent: VCI 
Allow: /* 

User-agent: Szukacz/1.4 
Allow: /* 

User-agent: Openfind data gatherer 
Allow: /* 

User-agent: Openfind 
Allow: /* 

User-agent: Xenu's Link Sleuth 1.1c 
Allow: /* 

User-agent: Xenu's 
Allow: /* 

User-agent: Zeus 
Allow: /* 

User-agent: RepoMonkey Bait & Tackle/v1.01 
Allow: /* 

User-agent: RepoMonkey 
Allow: /* 

User-agent: Microsoft URL Control 
Allow: /* 

User-agent: Openbot 
Allow: /* 

User-agent: URL Control 
Allow: /* 

User-agent: Zeus Link Scout 
Allow: /* 

User-agent: Zeus 32297 Webster Pro V2.9 Win32 
Allow: /* 

User-agent: Webster Pro 
Allow: /* 

User-agent: EroCrawler 
Allow: /* 

User-agent: LinkScan/8.1a Unix 
Allow: /* 

User-agent: Keyword Density/0.9 
Allow: /* 

User-agent: Kenjin Spider 
Allow: /* 

User-agent: Iron33/1.0.2 
Allow: /* 

User-agent: Bookmark search tool 
Allow: /* 

User-agent: GetRight/4.2 
Allow: /* 

User-agent: FairAd Client 
Allow: /* 

User-agent: Gaisbot 
Allow: /* 

User-agent: Aqua_Products 
Allow: /* 

User-agent: Radiation Retriever 1.1 
Allow: /* 

User-agent: Flaming AttackBot 
Allow: /* 

User-agent: Makbot
Allow: /*

كذلك ملف sitemap.xml وهو ليس ضروي الإلتزام بهذا الاسم يمكن لك تعطية اي اسم لكن يجب تعرف لمحركات البحث في ملف robot.txt

يوجد برامج تقوم بعمل ذلك
و استطيع اقول ان اغلب هده البرامج لا تنجح في عمل sitemap مميزة لموقعك
ولو كان موقعك صغير
فالافضل ان تعملها بطريقة يدوية
يمكن هذا الموقع يعمل لك sitemap الى 500 رابط من موقعك

سوف ابحث لك عن درس مبسط قليلاً وسوف تتعلم ذلك

[Zhra]

Sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.9">
<url><loc>http://www.zhra.net/index.php</loc></url>
</urlset>

في المثال السابق sitemap مكونة من رابط واحد
الشرح
1- استخدم برنامج المفكرة ولا تستخدم اي برنامج اخر لعمل sitemap
لا تستخدم اي محرر للغة html مثل فرنت بيج // فقط المفكرة

هذا الشرح من قوقل
https://www.google.com/webmasters/to...r otocol.html
يوجد دوال ليس لها حاجة متل اهمية الرابط و الفترة الزمنية لزيارة الرابط و غيرها
لان محرك البحث سوف يعمل حسب ماهو ستاندر لديه
لذلك انا تجاهلت ادراج تلك الدوال

2- في المثال السابق يوجد 4 اسطر
السطر 1+2 هذه لا تتكر
السطر 4 لإغلاق الدالة

3- بقي عندنا السطر رقم (3) وهو المهم
تعمل له نسخ و لصق
وفي كل مرة تضع رابط جديد من روابط موقعك

نفرض ان عندك منتدى به عدد 2000 من الاعضاء و كذلك عدد 2000 من المواضيع + عدد 2000 من المواضيع المؤرشفة
ادا تكرر هدا السطر 6000 مرة

ملاحظات

يجب ان تعرف مكان الملف sitemap.xml في ملف robots.txt
يجب ان لا يزيد حجمملف sitemap عن 5 ميجا و انا بفضل انه ما بيزيد عن 2 ميجا

اذا عملت عدد 2 ملف sitemap
واحد للموقع و الاخر للمنتدى
هنا ملف sitemap.xml الخاص بالمنتدى يجب يكون في الدليل الرئيسي للمنتدى
مثال:
www.your domain.com/vb/sitemap.xml
وان تعرف مكانه في قوقل لخدمات مدراء المواقع و كذلك في ملف robots.txt
وكتير اشياء
لكن يهمني ان توصل الفكرة لديك

[ريونة]

الله يعطيك العافيه اخوى اواختى زهره
حقيقة الكلام جميل لكن صدع راسى وانا جالسه اقراه

الحين بخصوص robots.txt

انسخ الكود فى الاعلى وافتح مفكره واضعه فى الملف الرئيسى ؟

طيب انا عندى دليل مواقع فى الصفحه الرئيسيه وعندى منتدى فى صفحه اخرى vb

ما العمل ؟

اما بالنسبة لـ sitemap.xml
صعب على فهمه بصراحه

مع الشكر

[Zhra]

المجلدات التي لا تريد ان يدخلها محركات البحث اضيفيا

هذا ملف روبوت جاهز من موقعي أنسخة في ملف تكست وضعه على الدليل الرئيسي
http://www.zhra.net/robots.txt
تحت هذا السطر ضعي المجلدات التي رلا تريدين ان يدخلها محركات البحث
CSS test pages unsafe for IE4.01 Mac, don't go there

مثل
admincp
images
includes وغيرها

وهذه قائمة بالربوتات السيئة التي تستهلك قدر كبير من الباندودث و مخصصة للسبام
http://www.yellowpipe.com/yis/tools/...afe-robots.php

أما sitemap
يمكن من ذلك الموقع عمل سايت صغيرة 500 رابط فقط

[ريونة]

يسلمو والله ما قصرتى
راح انسخ الملف
لكن بس اغير من رابط موقعك الى رابط موقعى صح ؟
ثانى شى انا ما عندى سايت مابز sitmap.xml
عادى صح اضع الروبوت ؟

[nabduae]

بروكت توليد خريطة المنتدى لجوجل وياهو الإصدار الثاني والاخير

أصلي بلا أي تلاعب
وهاهو رابط الشركة المنتجة للتأكد من الإصدار
http://www.vbulletin.org/forum/showt...php?t=10 0435



يقوم البرودت بتوليد خريطة المنتدى المتوافقة مع محرك البحث جوجل و ياهو
ويقوم البرودكت بإخبار جوجل تلقائيا بخريطة المنتدى الجديدة بمجرد إنشائها
لكن بالنسبة لياهو عليك اخبارها بنفسك على الأقل لأول مرة
وده رابط الياهو لرفع السايت ماب الخاصة بموقعك

[/color][/size]http://submit.search.yahoo.com/free/request

ولاحظ هنا أن البرودكت العملاق vbseo يطلبه لتوليد السايت ماب للمنتدى


طريقة الإستخدام
يمكنك الذهاب الى
www.yourdomain.com/vb/vbseo_sitmap


بعد توليد السايت ماب الخاصة بمنتداك
إذهب إلى
www.yourdomain.com/vb/vbseo_sitmap/data
ستجد ملفات السايت ماب


الآن تذهب لياهو وتعطيه رابط هذا السايت ماب
مثال لياهو
www.yourdomain.com/vb/vbseo_sitmap/data/sitemap.tx t.gz

الامتداد .gz هوضغط للسايت ماب لا تغيره لأن ياهو يتعرف عليه بشكل طبيعي

طريقة التركيب
كل ما عليك هو رفع المجلد vbseo_sitemap الى مجلد VB لديك
وإستدعاء البرودكت من لوحة تحكم الإدارة

للتحميل

كلمة السر لفك الضغط
baramegtop.22web.net