ربات های خزنده موتورهای جستجو برای هر سایت سهمی در نظر می گیرند. به این معنی که تعداد مشخصی صفحه را در یک نشست معین بررسی می کنند. اگر پس از پایان نشست هنوز تعداد صفحه باقی مانده بود، دوباره در نشستی دیگر این کار را به پایان می رسانند.
- یک ربات خوب، مانند یک خزنده وب یا یک ربات فید خبری، سعی می‌کند قبل از مشاهده هر صفحه دیگری در یک دامنه، ابتدا از فایل robots.txt بازدید کند و دستورالعمل های آن را دنبال کند.
- اما خوشبختانه برخلاف این عده خاص، بسیاری از خزنده‌های مهم سطح وب به این قوانین و دستورات احترام می‌گذارند و از آن‌ها پیروی می‌کنند.
- در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند.
- بعد از ایجاد و یا انجام اصلاحات در فایل ربات، باید از صحت تغییرات خود مطمئن شوید.
- مثل اینست که بگویید “هیچ موجود زنده ای” حق ندارد به تلفن شما دست بزند.
- در صورت تغییر در فایل robots.txt می توانید آن را از طریق ابزار مربوطه در گوگل سرچ کنسول، تغییرات صورت گرفته را سریعا بروزرسانی کنید.
این واقعاً مهم است که فایل robots.txt شما به درستی تنظیم شود. اگر برای ایندکس کردن تمام صفحات خود با مشکل مواجه هستید، ممکن است با مشکل بودجه crawl مواجه شوید. با مسدود کردن صفحات بی‌اهمیت با robots.txt، گوگل بات می‌تواند بیشتر بودجه خزشِ شما را صرف صفحاتی کند که واقعاً مهم هستند. در غیر این صورت ممکن است سایت شما برای همیشه از نتایج گوگل محو و پنالتی شود که نتیجه آن بر باد رفتن زحمات شما خواهد بود.
نمونه طراحی سایت فروشگاه
همانطور که همه‌ی ما می‌دانیم، ربات‌های موتورهای جستجو پررنگ‌ترین نقش ممکن برای معرفی کامل یک سایت به موتورهای جستجو را ایفا می‌کنند. گوگل به عنوان بزرگترین مرجع و گسترده‌ترین شبکه در این زمینه، ربات‌های اختصاصی و عمومی زیادی گسترش داده است. وب‌مسترهای موفق همواره عملکرد و تغییرات این ربات‌ها را دنبال کرده و مطابق با استانداردهای آنان پیشروی می‌کنند. توجه کنید که اگر سایت شما فایل Robots.txt نداشته باشد هم ربات‌های گوگل کار خودشان را می‌کنند.
اضافه کردن فایل ربات robots.txt به سایت غیر وردپرسی
شما با کمک این فایل می توانید به ربات های گوگل و کراولر ها دستورات دلخواه خود را بدهید. اما ربات موتور جستجو با مشاهده یک صفحه جدید در یک سایت یا یک سایت کاملا جدید که پیش از این مشاهده نکرده است، فایل Robots.txt را بررسی می‌کند تا از وضعیت مجوز برای بررسی و فهرست کردن صفحه یا سایت جدید را اطلاع یابد. وب سایت های بزرگ و پر بازدید، روزانه هزاران بار توسط ربات های مختلف مورد بررسی قرار می گیرند. این ربات ها در طی دو مرحله یعنی بررسی و ایندکس، سایت را بررسی می کنند. حال فرض کنید روزانه بیش از صدها ربات یک سایت را بررسی کنند؛ این اتفاق سبب کند شدن سرعت لود سایت خواهد شد.
به چه دلیل از فایل Robot.txt استفاده می کنیم؟
توجه داشته باشید که لزومی ندارد این لیست دقیقا در همان هاستی که فایل robots.txt در آن است قرار داشته باشد. دستورالعمل Allow در داخل فایل robots.txt دقیقا در مقابل دستورالعمل Disallow قرار می گیرد. به طور خلاصه این فایل نشان می دهد که موتورهای جستجو از کدام بخش ها باید دوری کنند.