پس لازم است اطلاعات موجود در این مقاله را دقیقا مطالعه کنید و با آگاهی کامل نسبت به اعمال تغییرات در این فایل اقدام کنید. حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد کنید و محتوای فوق را در آن کپی نمایید. مثلا زمانی که قصد داریم برای یک صفحه از مقالات سایتمان، یک صفحه pdf و یک صفحه قابل پرینت هم ایجاد کنیم، باید صفحه اصلی را نگه داشته و مابقی را به کمک robots.txt پنهان کنیم. دو دستور User-agent و Disallow برای پیکربندی و تنظیم فایل robots.txt وجود دارد که در ادامه به توضیح هر یک می پردازیم.
- گاهی اوقات به جای فهرست کردن همه فایل‌ها به صورت جداگانه، مسدود کردن چندین صفحه به طور همزمان کارآمدتر است.
- پیاده سازی آنها راحت تر است و احتمال وقوع فاجعه کمتر است (مانند مسدود شدن کل سایت شما).
- تمامی حقوق مادی و معنوی این وب سایت متعلق به پونه مدیا می باشد.
- گوگل آنالیتیکس و گوگل کنسولکه قوی ترین الگوریتم های ضد ربات را دارندبازدیدهای ربات ارتقاء سئو ما را به عنوان بازدیدهای یک انسان واقعی ثبت میکنند!
مثلا در CMS وردپرس نیازی نیست که ربات موتورجستجو برود و شاخه ی wp-admin را بررسی نماید ما در فایل robots.txt از پیمایش این شاخه توسط ربات را جلوگیری میکنیم. ما با پنهان کردن کل سایت از دید گوگل در ابتدای کار، به خودمان فرصت میدهیم تا صفحات اضافی سایت را حذف کرده و بقیه تغییرات لازم را روی آن ایجاد کنیم. در صورتی که این صفحات پیش فرض قالب در سایت ما ایندکس شوند، گوگل از همان ابتدا به دلیل وجود یک سری مطلب تکراری، اعتبار سئو سایتمان را کاهش میدهد. در نهایت و بعد از اینکه فعالیت های لازم برای طراحی بقیه برگه ها و حذف برگه های اضافی انجام شد، سایت را برای ربات ها قابل بررسی خواهیم کرد. با استفاده از فایل robots.txt در سایت می توان مانع از خزیدن صفحات با کیفیت کم توسط ربات های گوگل شد. چنانچه در سایتی صفحات با کیفیت پایین زیادی وجود داشته باشد می تواند از خزیدن ربات های گوگل برای خزیدن صفحات با کیفیت بالا جلوگیری کند.
آیا با فایل Robots.txt می‌توان صفحه‌ای را از نتایج جستجو حذف کرد؟
اگر می‌خواهید نقشه سایت خود را به موتورهای جستجو نشان دهید، پس باید از این فایل استفاده کنید. ما به شدت توصیه میکنیم اگر فایل robots.txt را در سایت خود ندارید، بلافاصله آن را ایجاد کنید. فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد. این فایل شما را قادر می‌سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخش‌هایی را نباید ایندکس کنند. در چند مورد نادر که در یک صفحه همزمان از تگ‌های نوفالو و ربات دیس‌آلو استفده می‌شود ممکن است مشکلاتی به وجود بیاید. چرا که اگر به طور همزمان استفاده شود گوگل در نتایج جستجو چنین پیغامی را نمایش میدهد که «توضیحی برای این صفحه در دسترس نیست» و در کارکرد کلی سایت شما تاثیر می‌گذارد.
فایل Robots.txt در کجای سایت قرار می‌گیرد؟
دقت داشته باشید که اگر این فایل در هاست شما موجود نبود می توانید خودتان آن را ایجاد کنید. تشکر میکنم از شماوتیم بزرگتون وخداوقت میگم به خاطرپشتیبانی عالیتون محصول نرم افزارسئو تون خیلی بهم کمک کرد و خیلی راضی هستم… پشتیبانی وسرعت پاسخگویی فوق العادست.ازتیم کاربرمجازی نهایت تشکررادارم.همینطورکلیه رباتهاکارایی خیلی خوبی دارندوباعث صرفه… برای استفاده از نرم افزاروکلاهرچیزی که میخوام استفاده کنم اول پشتیبانیش رومیسنجم.پشتیبانی نرم افزارکاربرمجازی واقعابه موقع وسریع… خیلی ممنونم من دوتاربات ازتون خریدم هردوعالی کارمیکنن خیلی به کسب وکارم کمک کردن. بنابر نیازماکاربردی وازقیمت مناسبی برخورداربودکه توانستیم تبلیغات خودراگسترده تر،درکوتاهترین زمان وبالاترین راندمان انجام دهیم..
این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند. چگونگی راه اندازی فروشگاه اینترنتی رایگان با سایت ساز ها داشتن یک فروشگاه اینترنتی به خودی خود یک مزیت محسوب می شود. امروزه، به سختی می توان کسب و کاری را مشاهده کرد بدون داشتن یک وب‌سایت… به کمک این سه قاعده به راحتی می توان برای تعریف فایل Robots.txt اقدام کرد.
اگر پاسخ سوال شما در این قسمت نیست، سوال خود را قسمت نظرات برای ما بنویسید. همواره از عدم وجود خطا در فایل robots.txt خود اطمینان حاصل کنید. تمایلی به دسترسی ربات‌ها به صفحات برچسب و نویسندگان سایت ندارید.
هر گروه با یک خط User-agent شروع می‌شود که هدف گروه ها را مشخص می‌کند. کلیه حقوق این سایت برای شرکت “بهسازان مجازی فناوری اطلاعات آمارد” محفوظ می‌باشد. واقعادمتون گرم.ربات روامروزباخط خودم تنظیماتشوانجام دادم وبرای چند تاخط آزمایشی ارسال انجام دادم.خیلی خیلی عالیه.