الويب العربي

دليل محركات البحث و أهميته لإدارة الموقع
http://www.zhra.net/robots.txt
فهو يمنع أو يرشد محركات البحث من الوصول إلى نقاط في موقعك

المرجع الأساسي لعمل ملف robots.txt خاص بموقعك
http://www.robotstxt.org/wc/robots.html
طريقة السماح أو منع السبايدرات من دخول موقعك
http://www.robotstxt.org/wc/norobots.html
كيف عمل ملف مناسب لموقعك robots.txt
http://www.robotstxt.org/wc/exclusion-admin.html

طريقة ادراج دالة الروبوتس robots ضمن Meta Tag
راجع الرابط
http://www.robotstxt.org/wc/meta-user.html

إن كنت تستخدم مدونة WordPress ضمن موقعك فأضف الكود التالي في ملف robots.txt

كود:

User-agent:  *

# disallow all files in these directories

Disallow: /cgi-bin/

Disallow: /z/j/

Disallow: /z/c/

Disallow: /stats/

Disallow: /dh_

Disallow: /about/

Disallow: /contact/

Disallow: /tag/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /contact

Disallow: /manual

Disallow: /manual/*

Disallow: /phpmanual/

Disallow: /category/

 

User-agent: Googlebot

# disallow all files ending with these extensions

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /*.gz$

Disallow: /*.wmv$

Disallow: /*.cgi$

Disallow: /*.xhtml$

 

# disallow all files with ? in url

Disallow: /*?*

 

# disable duggmirror

User-agent: duggmirror

Disallow: /

 

# allow google image bot to search all images

User-agent: Googlebot-Image

Disallow:

Allow: /*

 

# allow adsense bot on entire site

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

إن كنت تستخدم منتدى phpbb في موقعك أضف التالي ضمن ملف robots.txt

كود:

User-agent: *

Disallow: /cgi-bin/

Disallow: /phpbb/admin/

Disallow: /phpbb/cache/

Disallow: /phpbb/db/

Disallow: /phpbb/images/

Disallow: /phpbb/includes/

Disallow: /phpbb/language/

Disallow: /phpbb/templates/

Disallow: /phpbb/faq.php

Disallow: /phpbb/groupcp.php

Disallow: /phpbb/login.php

Disallow: /phpbb/memberlist.php

Disallow: /phpbb/modcp.php

Disallow: /phpbb/posting.php

Disallow: /phpbb/privmsg.php

Disallow: /phpbb/profile.php

Disallow: /phpbb/search.php

Disallow: /phpbb/viewonline.php

 

User-agent: Googlebot

# disallow files ending with these extensions

Disallow: /*.inc$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$



# disallow all files with? in url

Disallow: *mark=*

Disallow: *view=*



# allow google image bot to search all images

User-agent: Googlebot-Image

Disallow:

Allow: /*

 

# allow adsense bot on entire site

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

إن كنت تستخدم منتدى من نوع vB مع مكتبة صور 4images
فخذ نسخة من ملف robots.txt الخاص بموقع زهرهـ
http://www.zhra.net/robots.txt

قاعدة بيانات عن جميع الربوتات الموجودة في النت
Database of Web Robots, Overview