می توانید در این فایل، خط های مختلفی به صورت دستورالعمل، تعریف کنید. در اینجا مثالی از فایل robots.txt وردپرس برای شما نمایش داده ایم. Robots.txt یک فایل است که وب مسترها به ربات های خزنده موتور جستجو می توانند اعلام کنند که چطور سایتشان را ایندکس کنند.
- معمولا موتورهای جستجو محتویات فایل robotx.txt را ذخیره می‌کنند تا به دانلود مجدد آن نیاز نداشته باشند، با این حال روزانه چندبار نسخه جدید فایل را بارگذاری می‌کنند.
- درواقع در گزارش سئو شما می‌توانید از روند فعالیت‌های انجام‌گرفته و بازخوردهای آن اطلاعاتی به دست بیاورید و البته مهم‌ترین کارها در بهینه سازی سایت است.
- همچنین می‌توانید این فایل را دانلود کرده و روی کامپیوتر خود ویرایش کنید و در نهایت فایل ذخیره شده را با فایل قبلی جایگزین کنید.
- با مشخص کردن یک یا چند فیلتر مختلف، مقاله‌های جذاب و مناسب خودتان را پیدا کنید.
به عنوان مثال اگر شما نرخ تأخیر ربات‌ها را روی ده ثانیه قرار دهید، موتورهای جستجو به صورت روزانه می‌توانند فقط نزدیک به 8600 صفحه از سایت شما را بررسی و ایندکس کنند. اگرچه این مقدار برای سایت‌های نه چندان بزرگ مقدار کمی نیست، اما برای سایت‌هایی که صفحات زیاد و محتوای متعددی دارند اقدام مناسبی نمی‌باشد. بنابراین قبل از استفاده از این مورد به این مسئله دقت کافی را داشته باشید. اما نباید فراموش کنید که اگرچه می‌توان سایت مپ در داخل فایل ربات سایت به ربات‌های موتور جستجو گوگل معرفی کرد اما این روش بهترین روش معرفی سایت مپ به ربات‌های گوگل نیست. در این حالت، برای جلوگیری از نمایش صفحاتی که علاقه‌ای به نمایش آن‌ها در نتایج گوگل نداریم از فایل robots.txt کمک می‌گیریم و آدرس این گونه صفحات را از دسترس خزنده‌های گوگل خارج می‌کنیم. فایل robots حاوی دستورالعمل‌هایی برای صدور یا عدم صدور مجوز دسترسی ربات‌ها به شاخه‌های مختلف وبسایت است.
حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم. این ابزار به صورت خودکار این فایل را برداشته و آن را تست می کند. همه خطاهای احتمالی و خطرات و ایرادها را همینجا به شما تذکر می دهد. همچنین با مراجعه به Google Search Console و تایید مالکیت سایت خود، می‌توانید از صحیح بودن وضعیت robots.txt روی سایت خود مطمئن شوید.
چرا فایل Robots.txt مهم است؟
اگر از وردپرس استفاده می‌کنید افزونه‌هایی برای این کار وجود دارد و در غیر اینصورت باید از طراحی وبسایت خود بخواهید که امکاناتی برای افزودن این کد‌ها یا دستورات در قسمت هد هر صفحه فراهم کند. پیکربندی صحیح فایل robots.txt یکی از اقدامات اساسی در بهینه سازی بودجه خزش و سئو سایت است. بررسی و ویرایش فایل ربات TXT سایت یک فاکتور رتبه بندی نیست و تنها کنترل‌کننده نحوه رفتار ربات‌های خزنده است. به خاطر داشته باشید هر سایت نیازمند فایل robots.txt خاص خودش است. از کپی کردن محتویات فایل robots.txt سایر سایت‌ها پرهیز کنید.
فایل‌های robots.txt برای خزنده‌های وب موتورهای جستجو مانند Google مرتبط هستند. گوگل برای وبمسترها و صاحبان وبسایت‌ها چند راه برای دسترسی به نقشه سایت گذاشته است. هیچ الزامی وجود ندارد که آدرس نقشه سایت را از این راه به ربات‌های گوگل نمایش دهید. بهترین راه ارائه نقشه سایت به گوگل استفاده از ابزار سرچ کنسول است. فایل Robots.txt به شما کمک نمی‌کند تا یک URL را از ایندکس موتورهای جستجو حذف کنید و همچنین از موتورهای جستجو در برابر اضافه کردن یک URL جلوگیری نمی‌کند. پس فایل ربات صرفا برای جلوگیری از کراول نیست و موتورهای جستجو در هر صورت صفحات شما را ایندکس و کراول می‌کنند اما با فایل ربات به آن‌ها اطلاع می‌دهید که این صفحات را در نتایج جستجو نمایش ندهد.
اجازه دسترسی کامل
اگر مایلید که بعضی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد می‌کنیم از متاتگ‌های هدر هر صفحه استفاده کنید. البته در حالی که تعداد این صفحات کم باشد یا این فرآیند برای شما دشوار نباشد. بنابراین در حال حاضر بدون نیاز به مورد خاصی، صفحه مدیریتی پنل سایت شما به صورت خودکار از لیست ایندکس‌های موتورهای جستجو حذف می‌شود. اگر صاحب یک وبسایت کوچک با تعداد صفحات کمی هستید، با مراجعه به سرچ کنسول وبسایت‌تان می‌توانید تعداد صفحاتی از سایت‌تان که توسط گوگل ایندکس شده‌اند را در بخش Coverage مشاهده کنید. درصورتی که از افزونه یواست برای سئو سایت وردپرسی خود استفاده می‌کنید، این افزونه برای مدیریت و ویرایش فایل ربات سایت‌تان یک بخش ویژه را در نظر گرفته است.
بنابراین، robots.txt یک ابزار ضروری برای کنترل نمایه‌سازی صفحات شما است. خصوصی نگه‌داشتن بخش‌های کامل یک وبسایت (به‌عنوان‌مثال، سایت مرحله‌بندی تیم مهندسی وب جوان). وقتی صحبت از URLهای واقعی برای مسدودکردن یا مجاز شدن می‌شود، فایل‌های robots.txt می‌توانند نسبتاً پیچیده شوند زیرا امکان استفاده از تطبیق الگو را برای پوشش طیف وسیعی از گزینه‌های URL ممکن می‌دهند. این کار فقط به خزنده گوگل می‌گوید که هیچ صفحه‌ای را که حاوی رشته URL /example-subfolder/ است، نخزد. فایل روبوت سایت مانند هر فایل دیگری در وبسایت بر روی وب سرور میزبانی می‌شود.