فایل روبوتکست، یک فایل و یک پل ارتباطی بین ربات‌های گوگل و وب سایت ما است، با استفاده از دستورالعمل هایی که در فایل ربات می‌نویسیم به ربات‌های گوگل می‌فهمانیم که به کدام قسمت سایت ما بخزند و کدام مناطق ممنوعه است. دقت کنید که استفاده غلط و نادرست از فایل robots.txt ممکن است باعث ضررو زیان به سئو سایتتان شود پس قبل از انجام هرگونه تغییرات در فایلتان بهتر است با مشاور سئو صحبت کنید و از او راهنمایی بگیرید. هم چنین از انجام به روز رسانی های مداوم این فایل خودداری کنید. شاید به روز رسانی های مداوم فایل ربوتس دات تی ایکس تی برای سایت به ظاهر تاثیری نداشته باشد اما در نهایت منجر به پیچیده و سخت شدن دسترسی ربات موتورهای جستجو به سایت می شود. این کد به ربات اجازه می دهد در فایل photos فقط عکس backlink.jpg را نمایش داده و ایندکس نماید، واجازه دسترسی به دیگر عکس های داخل فولدررا ندارد.
- تمامی حقوق مادی و معنوی ویدئوهای آموزشی و محصولات متعلق به مدیر وب می باشد ، جهت حمایت از صاحب اثر هزینه ی محصولات را پرداخت نمایید …
- اگر می‌خواهید یک فایل Robots.txt ایجاد کنید بهترین راهنما برای شما دستورالعمل گوگل است.
- پیشنهاد میکنیم از نسخه تجاری و حرفه ای آن استفاده کنید، و البته اگر آن را از مانگو تهیه کنید، هم پشتیبانی دریافت میکنید هم بروز رسانی های آن را به طور اورجینال دریافت می کنید.
- اگر هنوز هم این قابلیت در سرچ کنسول هست لطفا مسیر جدید رو معرفی کنید.
گوگل این فرمان را نمی‌شناسد، اگرچه موتورهای جستجوی دیگر آن را تشخیص می‌دهند. برای Google، مدیران می‌توانند فرکانس خزیدن را برای وب‌سایت خود در کنسول جستجوی Google تغییر دهند. یک ربات خزنده وب از خاص‌ترین مجموعه دستورالعمل ها در فایل robots.txt پیروی می‌کند. اگر دستورات متناقضی در فایل وجود داشته باشد، ربات از دستور granular بالاتر پیروی می‌کند. به تصویر فوق دقت کنید، واقعاً حتی برای خود بنده هم جالب است.
موتورهای جستجوی بینگ، یاهو و Yandex همگی از دستورالعمل Crawl-delay پشتیبانی می کنند که در صورت تمایل می توانید از این ویژگی در فایل robots.txt وب سایت خود استفاده کنید. موتورهای جستجو مثل گوگل هر کدام ربات های مخصوص به خود دارند مثل Googlebot که معروفترین ربات گوگل می باشد که وظیفه ی بازرسی، بارگذاری و ایندکس صفحات وب را بر عهده دارد. این ربات نسبت به دیگر ربات ها دستورات بیشتر و پیچیده تری متوجه می شود.
مزایای فایل robots.txt چیست؟
همواره از عدم وجود خطا در فایل robots.txt خود اطمینان حاصل کنید. بدین ترتیب تمامی صفحات موجود در وبلاگ از دسترس ربات بایدو خارج خواهد شد. علاوه بر این شما می توانید با کلیک روی گزینه ” FILE+” طبق تصویر زیر، در فیلدNew File Name، فایلی را با نامrobots.txtوارد کرده و در نهایت Create New File کلیک کنید تا فایل شما ساخته شود.
اگر سایت شما وردپرسی است با نصب افزونه‌های سئو وردپرس نظیر رنک مث یا یوست سئو بصورت خودکار برای شما این فایل ایجاد خواهد شد. در غیر این صورت به پوشه public_html در هاست خود بروید و یک فایل متنی با نام robots.txt و محتوای آن را مطابق با نیازهای خود اصلاح کنید. اگر این فایل به درستی تهیه نشده باشد یا به صورت کامل در هاست آپلود نشده باشد، ربات های خزنده مانند قبل تمامی صفحات سایت را ایندکس می کنند. در واقع ربات ها دستوراتی را اجرا می کنند که به صورت دقیق و منطبق با رفتار آنها تعریف شده باشد. برای ساخت فایل robots.txt در وردپرس ابتدا وارد هاست سایتتان بشوید؛ سپس از آنجا روی گزینه File Manager کلیک کنید تا بتوانید فایل ها مختلف موجود در سایتتان را مشاهده کنید.
این بهینه‌سازی Crawl Rate Limit نام دارد که برای ارائه تجربه کاربری بهتر، تعداد صفحات قابل Crawl در یک روز را محدود می‌کند. Google دارای خزنده‌هایی جدا از «Googlebot» اصلی است، از جمله Googlebot Images، Googlebot Videos، AdsBot و موارد دیگر. با robots.txt می‌توانید خزنده‌ها را از فایل‌هایی که نمی‌خواهید در جستجوها ظاهر شوند، دور کنید. به عنوان مثال، اگر می‌خواهید فایل‌ها را از نمایش در جستجوهای Google Images مسدود کنید، می‌توانید دستورالعمل‌های غیر مجاز را روی فایل‌های تصویری خود قرار دهید. اما نباید فراموش کنید که اگرچه می‌توان سایت مپ در داخل فایل ربات سایت به ربات‌های موتور جستجو گوگل معرفی کرد اما این روش بهترین روش معرفی سایت مپ به ربات‌های گوگل نیست. برخی موتورهای جستجو از چند نوع ربات برای بررسی سایت‌ها استفاده می‌کنند؛ مثلاً گوگل دارای ربات Googlebot برای جستجوی ارگانیک در بین سایت‌ها است.
مثال هایی از ارجاع نقشه سایت در فایل robots.txt
در URL Cloacking از روشی استفاده می شود که شرایط و قوانین گوگل را کاملا نقض می کند و به همین دلیل است که به آن روش سئوی کلاه سیاه می گویند. در صورتی که سایت شما دارای ساب دامین است لازم است هریک از این ساب دامین‌ها دارای فایل robots.txt مختص خود باشند. بعنوان مثال nardebangroup.com فایل خودش را دارد و my.nardebangroup.com هم فایل robots.txt جدا دارد.
به طور خلاصه، فرض کنید که یک قطعه از محتوا را با استفاده از iframe جاسازی کرده ایم. آن قطعه از محتوا اغلب، اگر مربوط به رسانه ای باشد، دستورالعملی برای عدم فهرست بندی خواهد داشت. اما وقتی کدهای مربوطه را در صفحات خود جاسازی می کنید، ممکن است گوگل پیشنهاد دهد که به دلیل اینکه محتوای جایگذاری شده بدون فهرست است، این کار را انجام ندهید. صفحه ای را که ما به عنوان مثال در آن کدهای مربوطه را جایگذاری می کنیم به طور حتم ایندکس خواهند شد. در این بخش، گوگل به شما کنترل بیشتری می دهد تا بگویید، صفحه ای را که در آن کدهای مربوطه جایگذاری شده اند را چگونه فهرست کنید.
با استفاده درست از فایل robots.txt می توانید به ربات‌های جستجو بگویید که Crawl Budget سایتتان را به درستی مصرف کنند. همین قابلیت است که اهمیت فایل robots.txt را در سئو دوچندان می‌کند. چرا؟ ربات خزنده موتور جستجوی گوگل (همان Googlebot خودمان!) دارای ویژگی به نام Crawl Budget است. گوگل تعدادی ربات خزنده دارد که به صورت خودکار وبسایت‌ها را اسکن می‌کنند و صفحه‌ها را با دنبال کردن لینک‌ها از صفحه‌ای به صفحه دیگر پیدا می‌کنند. وقتی ربات‌ها می‌خواهند صفحه‌هایی از سایت را بررسی کنند، اول فایل Robots.txt را می‌خوانند. در این فایل با چند دستور ساده مشخص میکنیم که ربات اجازه بررسی کدام صفحه‌ها را دارد و کدام صفحه‌ها را نباید بررسی کند.