قبل از اینکه بخواهیم در فایل robots.txt سایت‌مان تغییراتی ایجاد کنیم، لازم است که با محدودیت‌های این فایل آشنا باشیم. فرض کنید که در وبسایت‌تان فولدری به نام mypic دارید که در آن یکسری تصاویر را نگهداری میکنید که علاقه‌ای ندارید ربات جستجو تصاویر گوگل آن را بررسی کند و در نتایج خود نشان دهد. در مرحله دوم، بعد از اینکه مشخص کردیم دقیقا با چه رباتی طرف هستیم، حالا باید مشخص کنیم که محدودیت‌های این ربات چیست و چه صفحات و منابعی از وبسایت شما را نباید بررسی کند. با اینکار در حقیقت اعلام می‌کنیم که تمام ربات‌ها مد نظر ما هستند و تمام ربات‌ها باید به دستورات ما توجه کنند و دیگر نیازی نیست اسامی تک تک ربات‌ها را بنویسیم.
- قصد داریم مهمترین فاکتورهای رتبه بندی سایت را در سال ۲۰۲۰ بررسی کنیم.
- اما سایر ربات‌ها وقتی به این دستور می‌رسند هیچ توجهی به آن نمی‌کنند و بدون محدودیت محتوای فولدر mypic سایت شما را هم بررسی می‌کنند چرا که محدودیت شما تنها مربوط به ربات Googlebot-Image می‌شود و نه تمام ربات‌ها.
- اگر فایل robots.txt خود را به‌روزرسانی کردید و باید در اسرع وقت نسخه ذخیره‌شده گوگل را بررسی کنید.
- مواردی نیز وجود دارد که در آن شما نمی خواهید هیچ گونه بودجه ای را برای ورود به صفحه Google با برچسب noindex هدر دهید.
- Robots.txt بیشتر شبیه به پیشنهادات است تا قوانین شکست ناپذیر برای ربات ها.
در تصویر بالا گوگل اعلام می کند که چنین صفحه ای وجود دارد، اما اطلاعات آن از دید گوگل قابل مشاهده نیست، چرا که جلوی دسترسی به آن گرفته شده است. برای جلوگیری از چنین مشکلی ابتدا بایست صفحات مورد نظر را با استفاده از متا robots نوایندکس نمود و پس از خارج شدن آن صفحات از ایندکس گوگل، اقدام به بلاک نمودن آدرس ها کرد. برخی از ربات ها ممکن است که دستورات فایل robots.txt را نادیده بگیرند. این موضع بیشتر در مورد پایشگرهای غیر موجه مانند ربات های یابنده ایمیل ها برقرار است. اگر اولین بارتان باشد که این قسمت را باز میکنید و قبل از نصب افزونه یوست سئو فایل ربات خود را نساخته باشید، دکمه برای شما به صورت “ایجاد فایل ربات” نمایش داده خواهد شد. بهتر است دقیق تر با دستورات آشنا شوید و همیشه نظر یک متخصص را بپرسید تا بتوانید یک نقشه سایت درست حسابی برای خود بسازید.
فایل robots.txt چگونه کار می‌کند؟
برای کاربران واقعی user-agent شامل نوع مرورگر، و سیستم عامل است و حاوی اطلاعات شخصی نیست. این اطلاعات به وبسایت‌ها کمک می‌کند اطلاعات سازگار با سیستم کاربر را نمایش دهند. تصویر زیر فایل robots.txt سایت یوتیوب به عنوان نمونه نمایش داده شده‌است.
روش 2. ویرایش فایل Robots.txt وردپرس دستی با استفاده از FTP
هر چیزی که بعد از “Disallow” می آید صفحات یا بخش هایی هستند که می خواهید مسدود کنید. برای صفحات محرمانه اما قابل دسترسی از Noindex استفاده کنید.
این یکی ازبهترین برنامه هاوپرکاربرترین برنامه هایی هست که تاالان باهاش کار کردم وپشتیبانی بسیارقوی منوحمایت کردندوازتمام… دستتون دردنکنه وتشکرازراهنمایی های خوبتون چشم تمام مواردروکه گفتین انجام میدم تاسایت خوب رنک بگیره.ممنون میشم اگه… متشکرم ازتیم خلاق ومبتکر کاربرمجازی،که بااجرایی کردن این ایده بسیارعالی فعالیت های وقت گیرانسانی رابه فعالیت رباتیک تغییر… خداقوت به مجموعه فوق العاده کاربرمجازی بااینکه سالهاست بواسطه شغلم بامجموعه های مختلف درارتباطم میتونم به جرات بگم… خیلی ممنونم من دوتاربات ازتون خریدم هردوعالی کارمیکنن خیلی به کسب وکارم کمک کردن.