مدرن ترین متدهای طراحی وب در قالب هزاران محصول آماده طراحی سایت هم اکنون در دسترس شماست. Robots.txt یک فایل است که وب مسترها به ربات های خزنده موتور جستجو می توانند اعلام کنند که چطور سایتشان را ایندکس کنند. این فایل معمولا در ریشه دایرکتوری ذخیره شده که به عنوان پوشه اصلی سایت شما شناخته می شود.
- قطعا این سوال برایتان پیش خواهد آمد که چرا برخی از صفحات نباید ایندکس شوند؟ ایندکس شدن برخی از صفحات سایت می تواند نتایج نامطلوبی را برای شما داشته باشد.
- در صورتی که این فایل را بروزرسانی کرده‌اید بهتر است آدرس آن را برای بررسی در گوگل سرچ کنسول ارسال کنید تا سریع‌تر بروز رسانی شود.
- در واقع با این کار اجازه بررسی برخی از بخش های سایت که از نظر سئو اهمیت کمتری دارند را به ربات ها نمی دهند.
- این فایل به‌صورت اتوماتیک بر عملکرد سایت شما تأثیر می‌گذارد.
راه‌های دیگر جایگزین برای حذف صفحه از نتایج جستجئی گوگل را در ادامه معرفی می‌کنیم. اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم. همانطور که می بینید، ما عنکبوت ها را از خزیدن صفحه مدیریت WP منع می کنیم. و همینطور هر چیزی که بعد از “Disallow” شما آن را برای خزیدن ربات ها مسدود می کنید.
فایل robots.txt چگونه است؟ یک نمونه فایل ربات
پروتکل سایت مپ (نقشه سایت) به ربات‌ها کمک می کند تا بدانند چه چیزی را در خزیدن خود در یک وب سایت قرار دهند. این دستور به ربات‌ها می‌گوید که به صفحه وب یا مجموعه‌ای از صفحات وب که پس از دستور آمده است دسترسی نداشته باشند. صفحات غیرمجاز لزوماً “پنهان” نیستند – آنها فقط برای کاربران عادی Google یا Bing مفید نیستند، بنابراین به آنها نشان داده نمی‌شوند.
دسترسی سریع
فایل txt برای مخفی کردن اطلاعات خصوصی مناسب نیست و فقط باید دستورالعمل‌های ربات‌ها را در آن قرار داد. با استفاده از این کد شما به ربات‌ها اعلام میکنید که اجازه دسترسی به این فایل و بررسی آن را ندارند. با استفاده از این کد شما به ربات‌ها اعلام میکنید که همه صفحات و محتوای سایت را مجاز به بررسی هستند. با استفاده از این کد شما به همه ربات‌ها اعلام میکنید که فعلاً نیازی نیست هیچ صفحه‌ای از سایت را بررسی کنند.
گوگل این فرمان را نمی‌شناسد، اگرچه موتورهای جستجوی دیگر آن را تشخیص می‌دهند. برای Google، مدیران می‌توانند فرکانس خزیدن را برای وب‌سایت خود در کنسول جستجوی Google تغییر دهند. یک ربات خزنده وب از خاص‌ترین مجموعه دستورالعمل ها در فایل robots.txt پیروی می‌کند. اگر دستورات متناقضی در فایل وجود داشته باشد، ربات از دستور granular بالاتر پیروی می‌کند. به تصویر فوق دقت کنید، واقعاً حتی برای خود بنده هم جالب است.
این ربات‌ها صفحات وب را «خزش» می‌کنند و محتوای آن را فهرست‌بندی می‌کنند تا در نتایج موتورهای جستجو نمایش داده شوند. یکی از استانداردهای گوگل که در راهنمای موتور جستجوی این شرکت در یک فایل PDF در اختیار کاربران به صورت عمومی قرار گرفته، داشتن فایل ربات در سایت است. در واقع گوگل یکی از فاکتورهای رتبه بندی سایت را داشتن فایل ربات قلمداد می کند. در سرچ کنسول موتور جسجوی گوگل، مدیر سایت میتواند فایل ربات سایت خود را برای گوگل ارسال کند تا گوگل از آن استفاده کند. دستور سایت مپ(نقشه سایت) برای معرفی کردن نقشه سایت (سایت مپ) به کراولر ها کاربرد دارد. نقشه سایت یک فایل XML است که شامل لیستی از تمام صفحات وب سایت شما و همچنین متادیتاها می باشد (متادیتا شامل اطلاعاتی است که به هر URL منسوب می شود).
چه خوب شدسایت شمارودیدم.سایت بسیارتمیزه ومیشه راحت به رباتهادسترسی داشت.دست برنامه نویساتون دردنکنه کارشون عالیه… واقعاازاین برنامه بازخوردخیلی خوبی گرفتم.چندتامشکل داشتم وپشتیبانی قوی وعالی سایت کاربرمجازی درکمترین زمان ممکن … سلام بابت ربات خوبتون میخواستم تشکر کنم، واقعا ممنونم🌷🌷🙏،ربات ارسال خودکارپست هم ممکنه کدنویسی کنید؟خیلی لازمش دارم.. مرسی ازشماوتیم خوبتون بابت پاسخگویی واین که پشتیبانی میکنید کاربرو…