Txt بیشتر برای مدیریت فعالیت‌های ربات‌های خوب مانند خزنده‌های وب در نظر گرفته شده‌اند، زیرا ربات‌های بد احتمالاً دستورالعمل‌ها را دنبال نمی‌کنند. Robot.txt یک فایل متنی است که برای بهبود سئو سایت از طریق مدیریت ایندکس گوگل، مورد استفاده قرار می گیرد. اعمال تغییرات ناخواسته در این فایل می‌تواند کل سایت یا بخش بزرگی از سایت شما را از دسترس موتورهای جستجو خارج کند. با تنظیم صحیح این فایل می‌توانید فرایند خزش در سایت خود را بهینه سازی کنید و از فهرست شدن صفحات با محتوای تکراری جلوگیری کنید.
- در بیشتر مواقع، کاربر در وب سایت اگر بداند که در کجا آنها را پیدا کند، می تواند این صفحات را پیمایش کند.
- در واقع با این کار به ربات‌ها می‌گویید کدام صفحه‌ها اصلاً در اولویت شما نیستند.
- هیچگاه از فایل robots.txt برای پنهان کردن داده های حساس و خصوصی وب سایت از نتایچ جستجو استفاده نکنید.
- این دستور مشخص می‌کند که دستورهای موجود در فایل، تنها برای یک ربات خاص (در اینجا Googlebot) قابلیت اجرا دارد.
هر حالت دیگری که فایل ربات در ریشه سایت نباشد آن را از دسترس ربات‌های گوگل خارج می‌کند. ربات گوگل ، به شکلی طراحی شده است تا شهروند خوبی برای دنیای اینترنت باشد. خزیدن، اولویت اصلی این ربات است پس طوری طراحی شده که تا بر تجربه کاربری بازدیدکنندگان سایت تاثیری نگذارد.
خرید هاست ابری
راهکار بهتر برای جلوگیری از دسترسی به این گونه صفحات، قرار دادن پسورد برای دستریست. موتورهای جستجو و دیگر پایشگرهای وب پس از ورود به یک سایت می دانند که بایستی به دنبال یک فایل robots.txt باشند. اما آنها تنها در یک مسیر مشخص (مسیر ریشه وب سایت) به دنبال این فایل هستند. اگر یک پایشگر در مسیر /robots.txt هیچ فایلی را مشاهده نکند، فرض را بر این قرار می دهند که هیچ فایل robots.txt در این وب سایت وجود ندارد.
یک فایل robots.txt شامل دستورالعمل هایی برای تمامی موتورهای جستجو می باشد. با این حال، یک فایل robots.txt کار زیادی برای مدیریت ترافیک ربات‌های مخرب انجام نمی‌دهد. ابزارهای مدیریت ربات مانند Cloudflare Bot Management یا Super Bot Fight Mode می‌تواند به مهار فعالیت مخرب ربات، بدون تأثیر روی ربات‌های ضروری مانند خزنده های وب کمک کند.
اهمیت طراحی سایت ریسپانسیو در سئو
این دستور مشخص می‌کند که دستورهای موجود در فایل، تنها برای یک ربات خاص (در اینجا Googlebot) قابلیت اجرا دارد. را فعال کنید تا دسترسی تمامی ربات‌ها به سایت شما مسدود شود. همانطور که پیداست، باید مثل نمونه بالا، آدرس دقیق نقشه سایت خود را به صورت صحیح در این لاین وارد کنید. شناخته می‌شوند را مدیریت کرده و آدرس آنها را مخفی کنید تا کاربران به نوعی مجبور به کلیک روی آنها شوند. ظاهرا تنظیمات رنک مث درست انجام نشده آموزشش رو تو سایت ببینید. البته شما به‌عنوان مدیر سایت می‌توانید از افزونه WordPress SEO by Yoast جهت عدم نمایش دسته‌بندی سایت در ایندکس شدن صفحه‌نمایش صفحه‌هایی که ساخته‌شده‌اند استفاده کنید.
گوگل از این دستور پشتیبانی نمی‌کند و شما می‌توانید فرکانس خزش را در گوگل سرچ کنسول تنظیم کنید. ربات موتورهای جستجو با خزیدن و بررسی کردن صفحات مختلف در سایت‌های مختلف، صفحات را ایندکس کرده و با استفاده از الگوریتم رتبه بندی خود، نتایج را مرتب کرده و در صفحه نتایج موتورهای جستجو نشان می‌دهند. موتورهای جستجو لینک‌های موجود در هر صفحه را دنبال می‌کنند و از سایت A به سایت B رفته و از سایت B به سایت C و این فرایند را به همین شکل ادامه می‌دهند. با لیست کردن برخی صفحات خاص و استفاده از Disallow در حقیقت شما به ربات‌های مخرب و هکرها می‌گویید که این صفحات سایت مهم هستند و نباید به آنها دسترسی پیدا کنید و آنها به راحتی این صفحات را پیدا می‌کنند.
نحوه ایجاد فایل Robots.txt
بنابراین اگر دستورالعمل هایی را برای همه ربات ها در نظر گرفته اید و به دنبال آن دستورالعمل هایی برای یک ربات خاص مد نظرتان است باید بدانید که تنها این دستورالعمل های خاص توسط موتورهای جستجو مورد توجه قرار می گیرند. در مثال بالا به هیچ یک از موتورهای جستجو از جمله گوگل و بینگ اجازه دسترسی به پوشه /about/ directory داده نمی شود که این عدم اجازه دسترسی شامل مسیر /about/company/ نیز می شود. به عنوان مثال در موتورهای جستجو گوگل و بینگ در صورتی که تعداد کاراکترهای استفاده شده در دستورالعمل Allow بیشتر باشد اولویت بیشتری نسبت به دستورالعمل Disallow خواهد داشت. توجه داشته باشید که تفسیر آنها از این دستورالعمل اندکی متفاوت می باشد و به همین علت نیز بهتر است که قبل از استفاده حتما اسناد موجود در وب سایت این موتورهای جستجو را مطالعه کنید. با این حال باید توجه داشته باشید که گوگل از امکان تعریف یک crawl rate یا نرخ خزیدن که به آن نرخ درخواست نیز گفته می شود پشتیبانی می کند که شما می توانید از طریق کنسول جستجوی گوگل به آن دسترسی داشته باشید.