هذا الملف من المعروف بأنه من أهم الملفات التي تمنع أرشفة الأشياء الغير مفيدة..
فأنت مثلا حين لا تملك هذا الملف فسيتم أرشفة كامل الموقع متل عضويات الأعضاء..
والتقويم وغيرها الكثير الغير مفيد
مثال
http://www.3zara.net/robots.txt
الملف فى المرفقات
فقط كم بتحميله ورفعه إلى رئيسية موقعك
اومجلد www
اكاديمية ابوعاذرة التطويرية
بعد الرفع
استدعى الرابط
http://www.3zara.net/robots.txt
مع تغير 3zara.net الى دومينك
انتهى