قم بأنشاء ملف نصى على جهازك وسميه robots.txt
سوف احاول ان ابين كل كود و دروه و قد اقتبسته لكم من احد الموضيع
اقتباس:
User-Agent: *
هذا الأمر يسمح بالروبوتس الخاصة بمحركات البحث بفهرسة موقعك
و من اهم التعريفات الاخرى
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.
Disallow:طريقة المنع
Crawl-delay:مدة تاخير بين زيارة اخرى
Request-rate:معدل طلب الصفحة
Visit-time:الاوقات المسموح بها بالزيارة
sitemap:خارطة الموقع بصيغة .xml او
اقتباس:
User-agent: *
Disallow: /
هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.
اقتباس:
User-agent: *
Disallow: /xxxxx/index.html
نمنع الجميع من زيارة صفحة معينة
اقتباس:
User-agent: *
Disallow: /
Request-rate: 1/5
Visit-time: 0600-0800
مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt
تقول لروبوت هدا هو رابط خريطة موقعي و اكز عليه بشدة
كيف اسوي ارشفه للمنتدى و انزله في جوجل
النمط المتتابع
