تمایلی به دسترسی ربات‌ها به صفحات برچسب و نویسندگان سایت ندارید. طبق آموزش ها با استفاده از نرم افزار FTP به وردپرس متصل شوید. البته فراموش نکنید که بعد از اتمام تغییرات حتما دکمه ذخیره را بزنید.به این ترتیب می توانید با افزونه یواست سئو فایل robot.txt را ویرایش کنید.
- فایل Robots.txt در حقیقت به ربات‌ها اطلاع می‌دهد که کجا می‌توانند فایل یا فایل‌های نقشه سایت XML را پیدا کنند و در این میان کدام صفحات نباید کراول شوند.
- مدیریت ترافیک ربات‌ها از این جهت اهمیت دارد که سرور میزبان وبسایت شما برای پردازش و بارگذاری صفحات برای ربات‌ها مشغول نشود.
- جلوگیری از دسترسی به یک سری از آدرس های سایت به معنای پاک شدن آنها از ایندکس گوگل نخواهد بود.
- اما اگر می‌خواهید تنها به یک ربات خاص مانند ربات گوگل دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته شود.
دستوراتی که در فایل ربات سایت شما توسط افزونه اضافه شده فقط محض کنترل کرول متعلقات این افزونه است و نگران نباشید، چیزی از سایت شما با دستورات ربات از ایندکس گوگل خارج نمیشود. همانطور که گفتیم ربات موتورهای جستجو زیاد هستند، پس باید برای آنها مشخص کنید کدام یک حق دارند به سایت شما سر بزنند و کدام یک حقی برای دیدن سایت ندارند. همانطور که از مستندات گوگل پیداست تمام کلیک هایی که روی نتایج گوگل انجام میشوند به عنوان رفتار یا واکنش کاربران تلقی شده و تاثیر مستقیم بر رتبه بندی سایت‌ها خواهد داشت.
طراحی سایت آموزشی
ربات‌های موتور جستجوی گوگل مهم‌ترین ربات‌هایی هستند که در اینترنت می‌چرخند. این ربات‌ها هر روز چندین بار صفحه‌های سایت شما را بررسی می‌کنند. اگر وبسایت بزرگی داشته باشید، امکان دارد ربات‌های گوگل تا چند ده هزار بار در روز صفحه‌های سایت را بررسی کنند. ربات یک برنامه کامپیوتری خودکار است که با وب سایت ها و برنامه های کاربردی تعامل دارد.
۱ـ مشخص کردن ربات با User-agent
اگرچه برخی از ربات‌ها به دستورات موجود در این فایل توجهی نمی‌کنند. اما خوشبختانه برخلاف این عده خاص، بسیاری از خزنده‌های مهم سطح وب به این قوانین و دستورات احترام می‌گذارند و از آنها پیروی می‌کنند. علاوه بر این‌ها، گوگل ربات‌های مختلف دیگری را هم دارد که لیست کامل نام و وظیفه آنها را می‌توانید در مقاله “مرور خزنده‌های موتور جستجو گوگل” که توسط خود گوگل منتشر شده است ببینید. به عنوان مثال در بسیاری از سایت‌ها بخشی تحت عنوان پروفایل کاربران وجود دارد که نمایش این پروفایل‌های کاربری در نتایج گوگل هیچ ترافیکی برای سایت مورد نظر ایجاد نمی‌کنند. اما به صورت کلی می‌توانیم امیدوار باشیم که تمام قوانینی که داخل فایل ربات سایت‌مان مشخص می‌کنیم توسط مهم‌ترین خزنده‌های وب یعنی خزنده‌های گوگل رعایت میشوند.
در این شرایط است که برای بهینه سازی عملکرد سایت، باید ربات های موتور جستجوی گوگل را محدود کرد؛ برای انجام این کار هم باید از فایل Robots.txt استفاده کرد. در صورت وجود این دستور موتورهای جستجو توانایی خزیدن هیچ یک از صفحات وبسایت را ندارند. البته لازم به ذکر است این یک روش مطمئن برای جلوگیری از نمایش سایت شما در موتورهای جستجو نیست و باید صفحات سایت را no-index کنید. یکی از تکنیک های سئو کلاه سیاه، تکنیک URL Cloacking می باشد؛ در واقع در این تکنیک شما آدرس یک صفحه را از دید موتورهای جستجو مخفی می کنید. یکی از دلایل استفاده از فایل robots.txt، مدیریت همین صفحات است.
چگونه یک فایل robots.txt ایجاد کنیم؟قوانین قالب و مکان1- نام فایل باید robots.txt باشد. 1390 – 1401 © کلیه حقوق مادی و معنوی این وب سایت برای دهاستینگ محفوظ می باشد. درود بر شما، این فایل توسط افزونه های سئو مثل یوآست ساخته می شود. سوالی که شاید برای شما هم پیش بیاید این است که این فایل در کجا قرار دارد. یا بهتر است بگوییم در کجا باید بدنبال این فایل بگردیم؟ پاسخ این سوال بسیار ساده است.