فایل ربات میتواند به امنیت سایت و افزایش ترافیک هم کمک کند. قطعا داشتن فایل ربات کمک می کند بتوان استراتژی سئوی سایت را کنترل کرد، میتوان نقشه سایت را برای گوگل و بینگ مشخص کرد، قسمت های نامناسب سایت را از ایندکس گوگل خارج کرد و آدرس های ویژه را در آن قرار داد. برای مشاهده و ویرایش فایل ربات در وردپرس یا هر سایت دیگری به فایل منیجر در پنل هاست مراجعه کنید و درون فولدر public_html بدنبال فایل robots.txt بگردید. خوب است بدانید که بصورت پیش فرض این فایل وجود ندارد و برای ویرایش محتوای آن باید یک فایل متنی بصورت robots.txt ایجاد کنید و دستورات لازم را در آن قرار دهید. فایل Robots.txt به شما کمک نمی‌کند تا یک URL را از ایندکس موتورهای جستجو حذف کنید و همچنین از موتورهای جستجو در برابر اضافه کردن یک URL جلوگیری نمی‌کند. پس فایل ربات صرفا برای جلوگیری از کراول نیست و موتورهای جستجو در هر صورت صفحات شما را ایندکس و کراول می‌کنند اما با فایل ربات به آنها اطلاع می‌دهید که این صفحات را در نتایج جستجو نمایش ندهد.
- اما اگر تعداد صفحات فراتر از حد انتظار بود (به URL صفحاتی که فهرست بندی شده اند که شما نمی خواهید توجه نمایید) زمان آن است که از Robots.txt استفاده نمایید.
- قبل از اینکه بخواهیم در فایل robots.txt سایت‌مان تغییراتی ایجاد کنیم، لازم است که با محدودیت‌های این فایل آشنا باشیم.
- ربات بد یا فایل robots.txt را نادیده می‌گیرد یا آن را بررسی می‌کند تا صفحات وب ممنوعه را پیدا کند.
- برخی موتورهای جستجو از چند نوع ربات برای بررسی سایت‌ها استفاده می‌کنند؛ مثلاً گوگل دارای ربات Googlebot برای جستجوی ارگانیک در بین سایت‌ها است.
- هیچ الزامی وجود ندارد که آدرس نقشه سایت را از این راه به ربات‌های گوگل نمایش دهید.
بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن . من کدی که داخل این مطلب نوشتید (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) رو داخل functions.php سایتم گذاشتم که فید سایت کلا غیرفعال بشه. تمامی حقوق مادی و معنوی این وبسایت متعلق به نوین می باشد و هر گونه کپی برداری پیگرد قانونی دارد.
از استفاده از UTF-8 BOM در فایل robots.txt خودداری کنید
تمام کاری که باید انجام دهید این است که یک آدرس معمولی در مرورگر خود وارد کنید (برای مثال novin.com یا هر سایت دیگری). خب، بیایید به موضوع اصلی خودمان یعنی فایل robots.txt برگردیم. صاحبان وبسایت و وبمسترها می‌توانند ورود ربات‌ها به وبسایت را از راه‌های مختلفی کنترل کنند. مثل تصویر زیر که در آن اجازه دسترسی به پوشه‌ای به نام photos و اجازه دسترسی به صفحه‌ای به نام files.html را ندادیم.
این فایل به موتورهای جستجو می گوید که چگونه می توانند به بهترین شکل ممکن وب سایت شما را جستجو کنند. تا جای امکان سعی کنید از استفاده از دستورالعمل crawl-delay در این فایل برای موتورهای جستجو خودداری کنید. در مورد فایل robots.txt چه می دانید و چه اطلاعاتی دارید؟ آیا از موارد و کاربردهای فایل robotx.txt آگاهی دارید؟ در ادامه قصد معرفی فایل robots.txt، دستورات، عملکرد آن را داریم، پس همراهمان باشید.
متا دیسکریپشن (meta description) چیست؟ + چه اهمیتی در سئوی سایت دارد؟
استفاده از این ابزار دقیقا مشابه کنسول جستجوی گوگل می باشد. در حقیقت مشکل اصلی شما این است که وب سایت شما در یک هاست ضعیف اجرا می شود و به شکل نادرستی تنظیم شده است. در صورتی که شما در این فایل ها از دستورالعمل های سردرگم کننده ای استفاده کنید گوگل به صورت کاملا امن بخش های مد نظر خود را محدود می کند.
این الگوها با کاراکترهای * و دلار $ مشخص می‌شوند:
توجه داشته باشید که دستورالعمل Crawl-delay دقیقا باید بعد از دستورالعمل های Disallow یا Allow قرار گیرد. در زمان استفاده همزمان از این دو دستورالعمل حتما دقت کنید که از wildcard ها استفاده نکنید چرا که استفاده از آنها باعث ایجاد مغایرت در دستورالعمل ها خواهد شد که در بخش بعدی به بررسی آن می پردازم. تمامی دستورالعمل هایی که بین user-agent اول و user-agent بعدی قرار می گیرند به عنوان دستورالعمل هایی برای user-agent اول شناخته می شوند. هر موتور جستجو باید خود را با استفاده از یک user-agent شناسایی کند. یک User-agent میتواند تنها با یک مجموعه قوانین مطابقت داشته باشد، که اولین و خاص ترین گروهی است که با یک User-agent مشخص مطابقت دارد. دستور Disallow را می توان به روش‌های مختلفی مورد استفاده قرار داد که چندین مورد از آنها در مثال بالا نمایش داده شده است.
برای اینکه بدانید چه کارهایی باید انجام دهید تا خزنده های گوگل به، به روز رسانی شدن سایت اهمیت دهند ادامه مطلب را مطالعه کنید. اما اگر ایرادی در فایل دیده شود، لاین (دستور) مشکل دار هایلایت شده و مشخص می‌شود. میتوان این مدل لینک‌ها را مدیریت کرده و آدرس آنها را پنهان کرد. در این فایل آموزشی تصویری می خواهیم نمونه ای بسیار جالب از نحوه رسیدن به موفقیت با حداقل محصولی که داریم را مثال بزنیم و کاملا تحلیل کنیم. با گذشت حدود 15 روز دیروز به صورت ناگهانی توی وبمستر حدود 1000 عدد ایندکسمون حذف شدن.