2- ایندکس کردن آن محتوا به‌طوری‌که بتوان آن را برای جستجوگرانی که به دنبال اطلاعات هستند ارائه کرد. لطفا در زمان پیاده سازی این بخش توجه داشته باشید که تنها یک کاراکتر اضافی می تواند تفاوت های زیادی را در این بخش به وجود بیاورد. با این حال از اول سپتامبر 2019 گوگل پشتیبانی از این دستورالعمل را به طور کامل متوقف کرد.
- همانطور که مشاهده نمودید، این مقادیر، جلوی دسترسی به سایت را برای موتورهای جستجو میگیرد.
- این رفتار خزیدن گاهی اوقات به‌عنوان “عنکبوت” شناخته میشود.
- اما ربات موتور جستجو با مشاهده یک صفحه جدید در یک سایت یا یک سایت کاملا جدید که پیش از این مشاهده نکرده است، فایل Robots.txt را بررسی می‌کند تا از وضعیت مجوز برای بررسی و فهرست کردن صفحه یا سایت جدید را اطلاع یابد.
- می توانید در این فایل، خط های مختلفی به صورت دستورالعمل، تعریف کنید.
بررسی و ویرایش فایل ربات TXT سایت یک فاکتور رتبه بندی نیست و تنها کنترل‌کننده نحوه رفتار ربات‌های خزنده است. به خاطر داشته باشید هر سایت نیازمند فایل robots.txt خاص خودش است. از کپی کردن محتویات فایل robots.txt سایر سایت‌ها پرهیز کنید. Robots.txt هر سایت مختص همان سایت است و ممکن است برای سایت شما عملکرد مناسبی نداشته باشد و فرایند ایندکس شدن صفحات سایت را دچار اختلال کند. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند.
بهبود عملکرد بهینه سازی سایت
گوگل که به خوبی از این موضوع آگاه است، برای اینکه به تجربه کاربری سایت‌ها کمترین لطمه را وارد کند برای هر سایت یک بودجه خزش مشخص در نظر میگیرد و با توجه به فاکتورهای مختلفی این بودجه را کم یا زیاد می‌کند. همانطور که قبلاً هم گفته شد Robots.txt در پوشه اصلی سایت قرار میگیرد. این محلی پیش‌فرض است که ربات‌ها و خزنده‌ها آن را بررسی می‌کنند تا به دنبال این فایل باشند. درنتیجه اگر این فایل در آنجا نباشد برای ربات‌ها به این معنی است که این سایت فایل Robots.txt ندارد.
کی باید در فایل robots.txt تغییرات بدیم؟
در صفحه بعد، یواست سئو، فایل Robot.txt قبلی را به شما نشان می دهد. و اگر تا به حال این فایل را نداشتید، در این مرحله robot.txt ایجاد می شود. اکنون فایلی که با برنامه notepad یا هر نرم‌افزار ویرایشگر متن دیگری که ساخته اید را با نام robots.txt ذخیره و روی هاست آپلود کنید. برای این کار کافیست گزینه Upload را انتخاب و فایل را به هاست خود اضافه کنید. نزدیک به 2 سال هست که در زمینه سئو به صورت تخصصی فعالیت میکنم و به سئوی کلاه خاکستری علاقه فراوانی دارم.
از نظر گوگل هم اساسا یکی از فاکتورهای مهم سئو داشتن فایل ربات است. در نهایت کار روی سرچ و کلمات کلیدی رو با توجه به نکاتی که گفتیم همه روزه برای صفحات مختلف سایتتون تکرار بکنید خودتون بعد از مدت کوتاهی پیشرفت سئو رو از طریق بازخورد بازدیدکنندگاتون رو به صورت ملموس میبینید. اگر گوگل عمل رباتیک را جریمه کند خیلی از افراد میتوانند بر روی سایت رقیب خود حرکات رباتیک پیاده‌سازی کنند و آنها را به زیر بکشانند! چنین چیزی باعث میشود گوگل نتواند جریمه‌ای برای اعمال رباتیک در نظر بگیرد. در نهایت کار روی سرچ و کلمات کلیدی رو با توجه به نکاتی که گفتیم همه روزه برای صفحات مختلف سایتتون تکرار بکنید. خودتون بعد از مدت کوتاهی پیشرفتتون رو از طریق بازخورد بازدیدکنندگاتون رو به صورت ملموس میبینید.
با این کار می توانید بودجه خزش سایتتان را صرف صفحات با ارزش تر کنید و در نتیجه سئو تکنیکال سایتتان را افزایش دهید. به طور کلی شما می توانید به دو روش نقشه سایتتان را به گوگل معرفی کنید؛ برای این کار می توانید از سرچ کنسول یا فایل robots.txt استفاده کنید. اما پیش از آن بهتر است با مطالعه مطلب “ساخت سایت مپ ” نقشه سایتتان را بسازید. پس از آن بهتر است از طریق سرچ کنسول نقشه سایتتان را به گوگل معرفی کنید؛ برای این کار باید سایتتان را در سرچ کنسول ثبت کرده باشید.
استانداردهای خاصی برای آن وجود ندارد و نمی‌توان با قطعیت گفت کدام المان‌ها و به چه شکل در فایل‌های Robots.txt میتوانند سرنوشت ساز باشند. در این مقاله به طریقه و روش استفاده‌ی صحیح از این فایل‌ها پرداخته‌ایم تا بدون هر گونه ریسک و تاثیرگذاری منفی در سئو از آنها استفاده کنید. حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد کنید و محتوای فوق را در آن کپی نمایید. و با یک ویرایشگر متن ساده مثل Notepad یا TextEdit آن را ویرایش کنید. بعد از اینکه تغییرات لازم را ایجاد کردید، مجددا با گزینه آپلود آن را به فولدر ریشه سایت برگردانید. اغلب دستوراتی که در این فایل میبینید Disallow و Allow است.
یک دلیل خوب دیگر برای استفاده از فایل robots.txt برای وردپرس این است که فایل ها و فولدرهایی که دوست ندارید، ایندکس نشوند و در نتایج جستجو گوگل نمایش داده نشوند. این مسئله در اوایل کار وب سایتتان و زمانی که محتوای کمی دارید، چندان مهم نیست و به چشم نمی آید. اما زمانی که کارتان پیشرفت می کند و محتوای سایت زیادتری می شود؛ زمانی می رسد که ترجیح می دهید کنترل بیشتری روی نحوه crawl و ایندکس سایتتان داشته باشید. همچنین به کمک این ابزار می توانید محتویات فایل robots.txt را تغییر بدهید. اما برای اعمال تغییرات در سایتتان، باید محتوای ویرایش شده را جایگزین محتوای قبلی در فایل robots.txt در هاست خود کنید. برای این کار کافیست پس از ویرایش متن، روی دکمه Submit کلیک کنید تا به بخش بعدی بروید.