المجلدات التي لا تريد ان يدخلها محركات البحث اضيفيا
هذا ملف روبوت جاهز من موقعي أنسخة في ملف تكست وضعه على الدليل الرئيسي
http://www.zhra.net/robots.txt
تحت هذا السطر ضعي المجلدات التي رلا تريدين ان يدخلها محركات البحث
CSS test pages unsafe for IE4.01 Mac, don't go there
مثل
admincp
images
includes وغيرها
وهذه قائمة بالربوتات السيئة التي تستهلك قدر كبير من الباندودث و مخصصة للسبام
http://www.yellowpipe.com/yis/tools/...afe-robots.php
أما sitemap
يمكن من ذلك الموقع عمل سايت صغيرة 500 رابط فقط