در ادامه مثال هایی را از فایل robots.txt برایتان آماده کرده ایم. دقت داشته باشید که این فایل در مسیر روت سایت یعنی آدرس /robots.txt قرار دارد. پس از ساخته شدن فایل ربات با افزونه Yoast میتوانید دستورات خود را در افزونه قرار دهید و آن را ذخیره کنید. برای ساختن فایل ربات در وردپرس ما یک راه ساده را به شما پیشنهاد میکنیم. اینکه از افزونه سازنده فایل ربات استفاده کنید تا آن را برای شما نصب و راه اندازی کند. اگر میخواهید فهرست کاملی از ربات موتورهای جستجو را ببینید، به این آدرس بروید.
- چنین چیزی باعث میشود گوگل نتواند جریمهای برای اعمال رباتیک در نظر بگیرد.
- با تایپ دستوراتی در این فایل متنی از دسترسی همه یا تعدادی از ربات های موتورهای جستجو برای بازدید و ایندکس سایت جلوگیری می گردد و یا با مشخص نمودن بخش های غیرضروری سایت، از لیست ایندکس توسط ربات ها خارج می شوند.
- شرکتهای مختلف با اهداف متفاوتی اقدام به ساخت و استفاده از این رباتها میکنند.
- پس شما و تقریبا همه ی ادم هایی که به عنوان یه انسان معمولی از گوگل استفاده میکنندهیچ وقت یه کلمه کلیدی ثابت رو به مدت یه هفته تا یه ماه پشت سر هم سرچ نمی زنند و روی یک سایت کلیک نمیکنند.
- هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد.
در برخی شرایط، مشکلاتی برای یکی از صفحات شما پیش می آید که باید آن را برطرف کنید؛ قبل از برطرف کردن حتما باید دستور Disallow را در فایل Robot.txt اجرا کنید. فایل Robot.txt در دایرکتوری روت سایت شما ذخیره می شود؛ برای پیدا کردن آن می توانید به دسترسی FTP در سی پنل یا دایرکت ادمین بروید. سپس می توانید این فایل را در public_html سایت خود پیدا کنید.
برای ربات ها، عامل کاربر (از لحاظ نظری) به مدیران وب سایت کمک میکند تا بدانند چه نوع ربات هایی در سایت خزیدهاند. پروتکل دیگری که برای فایلهای robots.txt استفاده میشود، پروتکل Sitemaps است. نقشههای سایت به خزنده وب نشان میدهند که در کدام صفحات میتوانند بخزند.
این الگوها با کاراکترهای * و دلار $ مشخص میشوند:
البته در حالی که تعداد این صفحات کم باشد یا این فرآیند برای شما دشوار نباشد. بنابراین در حال حاضر بدون نیاز به مورد خاصی، صفحه مدیریتی پنل سایت شما به صورت خودکار از لیست ایندکسهای موتورهای جستجو حذف میشود. هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمتهای سایتشان نفوذ کند میتوانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند.
در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود. برای ویرایش robots.txt در وردپرس بایستی یک فایل متنی با همین نام را در مسیر روت آن آپلود نمایید. با انجام این کار دیگر فایل robots.txt مجازی وردپرس مشاهده نخواهد شد.
سلام خواستم تشکر کنم ازرباتهایی که طراحی کرده اید،دریک جمله کوتاه دست مریزاد. من چند مدت قبل یه ربات استخراج اطلاعات خریدم ازتون،الان نیاز به4تای دیگه دارم.قبلا گفته بودین برای خریدهای بعدی هزینه ی… سلام وقتتون بخیربنده کلیه ی نرم افزارهای سایت شماروتهیه کردم ورضایت کامل دارم بینهایت سپاسگزارم .. برنامه بسیارعالی هستش وامکانات خیلی خوبی داره.اگه یسری اصول ارسال رعایت بشه،قطعارضایتبخش خواهدبودپشتیبانی…
پرسشهای متداول درباره فایل Robots.txt
این دستورات به پایشگر Bingbot (ربات پایشگر بینگ) اعلام می کند که صرفا یو آر ال /example-subfolder/blocked-page.html را پایش نکند. ما مقاله ای کامل در زمینه سئو فروشگاه نوشتیم که تبدیلش کردیم به یک کتاب pdf میتونید در این صفحه دانلود کنید هر آموزشی که برای یک فروشگاه اینترنتی لازم هست رو توضیح دادم. البته ما تا اینجا تصور می کردیم که شما سیستم مدیریت محتوایی مثل جوملا، پرستاشاپ یا ASP دارید و از وردپرس استفاده نمی کنید.
بهواسطهی رباتهای موتورهای جستجوگر شما میتوانید سایتتان را به این موتورها بهراحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید. توسط این فایل شما میتوانید مشخص کنید که گوگل چه قسمتهایی از سایت شما را ایندکس کند و درواقع میتوانید گوگل را کنترل کنید. توسط این فایل قسمتهای محدود و مشخص از سایت شما توسط موتورهای جستجو ایندکس میشود. درواقع توسط این قسمت مشخص میشود که گوگل به چه قسمتهایی دسترسی داشته باشد و سراغ محتوای غیر مرتبط نرود. برای جلوگیری از دسترسی رباتها چند راه مختلف وجود داره که در انتهای مقاله توضیح دادیم. میتونید از سرچ کنسول دوباره درخواست ایندکس بدید، نقشه سایت رو دوباره بررسی و آپلود کنید.