خوشبختانه دسترسی ربات‌ها به صفحه‌ها یا فایل‌ها را می‌توانیم کنترل کنیم. هنگامی که فایل robots.txt خود را در اختیار دارید، زمان فعال سازی آن فرا رسیده است. این نوشته به تمام ربات ها می گوید که در فولدر مربوط به تصاویر وب سایت خزش نکنند. با اینحال در سیستم مدیریت محتوا وردپرس به لطف پلاگین‌های مختلف که برای آن طراحی شده است، کار حتی از این هم راحت‌تر است. در این حالت یکی از راه حل‌های پیشنهادی گوگل، استفاده از تگ noindex در هدر صفحه مورد نظر است. البته بهتر است برای اطمینان بیشتر و جلوگیری صددرصد از ایندکس اینگونه صفحات از تگ noindex هم استفاده کنیم که در جلوتر به صورت مفصل به آن خواهیم پرداخت.
- این فایل شما را قادر می‌سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخش‌هایی را نباید ایندکس کنند.
- اگر پس از پایان نشست هنوز تعداد صفحه باقی مانده بود، دوباره در نشستی دیگر این کار را به پایان می رسانند.
- به همکارتون هم گفتم،واقعاربات عالی دارین.چون من باهمه رباتهاکارکردم، کارشماعالیه،بعید میدونم حالا حالاها بتونه اینستاگرام جلوشوبگیره.
- با این حال باید توجه داشت که موتورهای جستجو گوگل و بینگ در این جا اجازه دسترسی خواهند داشت چرا که طول کاراکترهای دستورالعمل بیشتر از Allow می باشد.
همانطور که قبلاً اشاره کردم، پیاده سازی noindex روی منابع چند رسانه ای، مانند فیلم ها و PDF ها دشوار است. خوشبختانه، نیازی نیست امیدوار باشید که کد شما به درستی تنظیم شده باشد. در قسمت بالا منظور از User-agent نوع رباتی است که شما آن را فرا می خوانید. برای ایجاد یک فایل TXT می توانید از ویرایشگر notepad ویندوز خود استفاده کنید.
چند نمونه از دستورات فایل Robots.txt
مخصوصا اینکه بقیه مقالات اصلا توضیح نداده بودن که چطوری میشه به این فایل دسترسی داشت و کجای هاست هستش. حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. بعد از این که فایل را ساختید آن را باید در سرور میزبان سایت آپلود کنید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. با نگاه کردن به فایل‌های robots.txt دیگر سایت‌ها می‌توانید از آنها برای سایت خودتان الگو بگیرید.
آموزش استفاده از “rel=”noopener noreferrer در لینک‌های خارجی
مثلا گوگل از Googlebot برای جستجوی ارگانیک و از Googlebot-Image برای جستجوی تصویر استفاده می‌کند. به عنوان مثال گوگل از Googlebot برای جستجوی ارگانیک استفاده می نماید. همچنین از Googlebot-Image برای جستجوی تصاویر وب سایت ها بهره می برد.
طراحی سایت ریسپانسیو
فایل robots.txt برای پیاده سازی بخش های ممنوع سایت برای موتورهای جستجو مورد استفاده قرار می گیرد و یک استاندارد برای انجام این کار به شمار می آید. زمانی که قصد ایجاد تغییرات در robots.txt سایت خود را دارید کاملا مراقب باشید چرا که فایل robots.txt قابلیت این را دارد که قسمت های بزرگی از سایت شما را از دسترس موتورهای جستجو خارج کند. با استفاده از فایل robots.txt می توان نکات مفیدی در خصوص چگونگی عملیات خزیدن در وب سایت خود به موتورهای جستجو ارائه دهید. هر شخص یا برنامه ای که در اینترنت فعال است یک “عامل کاربر” یا یک نام اختصاص یافته خواهد داشت. برای کاربران انسانی، این شامل اطلاعاتی مانند نوع مرورگر و نسخه سیستم عامل است، اما اطلاعات شخصی ندارد. عامل کاربر به وب‌سایت‌ها کمک می‌کند محتوایی را نشان دهند که با سیستم کاربر سازگار است.