[Zhra]

دليل محركات البحث و أهميته لإدارة الموقع
http://www.zhra.net/robots.txt
فهو يمنع أو يرشد محركات البحث من الوصول إلى نقاط في موقعك

المرجع الأساسي لعمل ملف robots.txt خاص بموقعك
http://www.robotstxt.org/wc/robots.html
طريقة السماح أو منع السبايدرات من دخول موقعك
http://www.robotstxt.org/wc/norobots.html
كيف عمل ملف مناسب لموقعك robots.txt
http://www.robotstxt.org/wc/exclusion-admin.html

طريقة ادراج دالة الروبوتس robots ضمن Meta Tag
راجع الرابط
http://www.robotstxt.org/wc/meta-user.html


إن كنت تستخدم مدونة WordPress ضمن موقعك فأضف الكود التالي في ملف robots.txt

User-agent:  *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/
 
User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
 
# disallow all files with ? in url
Disallow: /*?*
 
# disable duggmirror
User-agent: duggmirror
Disallow: /
 
# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

إن كنت تستخدم منتدى phpbb في موقعك أضف التالي ضمن ملف robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /phpbb/admin/
Disallow: /phpbb/cache/
Disallow: /phpbb/db/
Disallow: /phpbb/images/
Disallow: /phpbb/includes/
Disallow: /phpbb/language/
Disallow: /phpbb/templates/
Disallow: /phpbb/faq.php
Disallow: /phpbb/groupcp.php
Disallow: /phpbb/login.php
Disallow: /phpbb/memberlist.php
Disallow: /phpbb/modcp.php
Disallow: /phpbb/posting.php
Disallow: /phpbb/privmsg.php
Disallow: /phpbb/profile.php
Disallow: /phpbb/search.php
Disallow: /phpbb/viewonline.php
 
User-agent: Googlebot
# disallow files ending with these extensions
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# disallow all files with? in url
Disallow: *mark=*
Disallow: *view=*

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

إن كنت تستخدم منتدى من نوع vB مع مكتبة صور 4images
فخذ نسخة من ملف robots.txt الخاص بموقع زهرهـ
http://www.zhra.net/robots.txt


قاعدة بيانات عن جميع الربوتات الموجودة في النت
Database of Web Robots, Overview

[2x4h.com]

كنـّت استخـّدم الكـّوٍِد التآإلي :

User-agent: *
Disallow:

User-agent: Googlebot-Image

# Allow Everything
Allow: /*

وكآإن اكثـّرٍِ مـّن ممتـّآإز فقـّد استطآإع ارشفـّة مآإيقآرٍِب الـ 20 الف صفحـّه في غضـّوٍِن الـ 3 اسآإبيع اوٍِ الشهرٍِ تقريبآ .. الا ان تحـّديثآإت قوقل للبيـّج رآإنـّك وتصفيـّة بعـّض الصفحإآت المخآإلفـّه لشروطهم ادى الى انحدآإر شـّديد في عدد الصفحآإت في الفترهـ الحآإليه ..


استخـّدمت الكـّوٍِد الي في مـّوٍِقع زهرهـ ولأكن بالتعـّديل على بيآنإآت موقعي .. وإن شـآإء الله نستفيـّد ..


يعطيك ربي العآإفيـّه يآإخـّوٍِي ..