الويب العربي - شرح وكيفيه عمل ملف الربوتس robots.txt وتوجيه عناكب البحث

شرح وكيفيه عمل ملف الربوتس robots.txt وتوجيه عناكب البحث
====================================
وتوجيه عناكب البحث robots.txt الربوتس ملف شرح وكيفيه عمل
هذا الملف يعمل بامرين وهما
----------------------------
Disallow حجب
--------------
Allow سماح
-------------
عناكب محركات البحث المشهورة هي وهذه
عناكب
Google AdSense
User-agent: Mediapartners-Google*
Google
User-agent: googlebot
MSN
User-agent: MSNBOT
MSN2
User-agent: msnbot-media/1.0
ALEXA
User-agent: alexa_site_report
YAHOO
User-agent: slurp

مثال علي هذا الملف
---------------------
عمل الربوتس واعداده لا تدعه في موقعك وانتا لا تدرك ما محتوي والفائده منه الربوتس معني الرجل الالي او يطلق عليا باسم المتجولون
يستخدم في توجيه العناكب تامره ما تريد ان يارشف وما لا تريد ارشفته اعلم ان الربوتس ملف يشاهده الجميع الزوار والعناكب لا تخفي معلومه
لانك بذلك ستنشره بمحركات البحث عناكب محركات البحث قبل ان تقوم بالزحف الي صفحات موقعك تتحق من وجود الربوتس

يضع الملف في الرئسيه لان العناكب تبحث عن الربوتس في مسار robots.txt

ومن خلاله تتبع المسار الذي مراد حجبه تقوم بحذف المسار الذي حجبته ومنعته من الزحف وتضع مكانه “/robots.txt”
كل ما يتعلق بالملف وفائده معني كلمه ربوتس هي الرجل الالي او المتجولون هو يستخدم لتوجيه عناكب محركات البحث تشير بيه عن ما يارشف وما يمنع من الارشفه
اعلم الربوتس متاح للزوار والعناكب فلا تفكر ان تخفي معلومه لان بذلك انتا لا تخفيها انتا تنشرهاوهو يقوم بحذف مسار الرابط وتضع مكانه المسار”/robots.txt”
النعناكب عباره عن برامج تتصفح موقعك تلقائي يوجد بعض العناكب التي تتجاهل الربوتس وتدخل لكي تبحث عن ثغرات امنيه وايميلات
كيفيه عمل ملف الربوتس واعداده لموقعك لان العناكب قبل ان تذحف الي صفحات موقعك تتحق من وجد ملف الربوتس

اجعل اسمه هكذا robots.txt وليس هكذا Robots.TXT

1 كل الموقع متاح لجميع العناكب
User-Agent: * Allow:

2 كل الموقع محجوب عن جميع العناكب
User-agent: * Disallow:

3 حجب جزء من الموقع عن حميع العناكب مثل صفحة الادمن والصور والملجدات الخاصة والسماح لهم بباقي الموقع
User-agent: *
Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php
Disallow: /vb/includes

4 حجب عناكب محرك معين عن دخول موقعك والسماح للاخرى اولا عليك ان تعرف نوع العناكب
يوجد عناكب تتجاهل الربوتس تدخل موقعك تبحث عن ثغرات امنيه وايميلات
User-agent: googlebot
Disallow: / User-agent: * Allow:

5 حجب حميع محركات البحث ماعادا محرمات معينة
User-agent: googlebot
Allow: / User-agent: MSNBOT
Allow: / User-agent: * Disallow:

6 منع محرك بحث معين من الدخو لمنطقة معينة مع السماح لباقي المحركات بدخول جميع الاماكن
User-agent: googlebot
Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php
Disallow: /vb/includes
User-agent: * Allow:

www وضعه في رئسيه الموقع في مجلد robots.txt قم بحفظ الكود في ملف txt

---------------------
المصدر – عرب سيو
http://www.arab-seo.com/blog