سلام خواستم تشکر کنم ازرباتهایی که طراحی کرده اید،دریک جمله کوتاه دست مریزاد. من چند مدت قبل یه ربات استخراج اطلاعات خریدم ازتون،الان نیاز به4تای دیگه دارم.قبلا گفته بودین برای خریدهای بعدی هزینه ی… سلام وقتتون بخیربنده کلیه ی نرم افزارهای سایت شماروتهیه کردم ورضایت کامل دارم بینهایت سپاسگزارم .. برنامه بسیارعالی هستش وامکانات خیلی خوبی داره.اگه یسری اصول ارسال رعایت بشه،قطعارضایتبخش خواهدبودپشتیبانی…
- تمام کاری که باید انجام دهید این است که یک آدرس معمولی در مرورگر خود وارد کنید (برای مثال novin.com یا هر سایت دیگری).
- نسخه اصلی قالب رو خریداری کنید و نصب کنید مشکل حل خواهد شد.
- نیازی به صرف زمان زیادی برای پیکر بندی فایل robots.xt نیست.
- اما این چیزی نیست که ما دنبال آن باشیم، بنابراین باید بتوانیم به کمک فایل robots قوانینی را مشخص کنیم که باب میل ما هستند.
- فایل txt کار می کند، نقشه سایت به موتورهای جستجو اجازه می دهد تا در فهرستی از تمام صفحات وب سایت شما در یک مکان بخزند.
- پروتکل دیگری که برای فایل‌های robots.txt استفاده می‌شود، پروتکل Sitemaps است.
در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود. برای ویرایش robots.txt در وردپرس بایستی یک فایل متنی با همین نام را در مسیر روت آن آپلود نمایید. با انجام این کار دیگر فایل robots.txt مجازی وردپرس مشاهده نخواهد شد.
بهینه سازی فایل Robot.txt
در برخی شرایط، مشکلاتی برای یکی از صفحات شما پیش می آید که باید آن را برطرف کنید؛ قبل از برطرف کردن حتما باید دستور Disallow را در فایل Robot.txt اجرا کنید. فایل Robot.txt در دایرکتوری روت سایت شما ذخیره می شود؛ برای پیدا کردن آن می توانید به دسترسی FTP در سی پنل یا دایرکت ادمین بروید. سپس می توانید این فایل را در public_html سایت خود پیدا کنید.
آیا تمام سایت‌ها به فایل robot نیاز دارند؟
در ادامه مثال هایی را از فایل robots.txt برایتان آماده کرده ایم. دقت داشته باشید که این فایل در مسیر روت سایت یعنی آدرس /robots.txt قرار دارد. پس از ساخته شدن فایل ربات با افزونه Yoast میتوانید دستورات خود را در افزونه قرار دهید و آن را ذخیره کنید. برای ساختن فایل ربات در وردپرس ما یک راه ساده را به شما پیشنهاد میکنیم. اینکه از افزونه سازنده فایل ربات استفاده کنید تا آن را برای شما نصب و راه اندازی کند. اگر میخواهید فهرست کاملی از ربات موتورهای جستجو را ببینید، به این آدرس بروید.
عملکرد موتورهای جستجو در زمان برخورد با دستورالعمل Crawl-delay
این دستورات به پایشگر Bingbot (ربات پایشگر بینگ) اعلام می کند که صرفا یو آر ال /example-subfolder/blocked-page.html را پایش نکند. ما مقاله ای کامل در زمینه سئو فروشگاه نوشتیم که تبدیلش کردیم به یک کتاب pdf میتونید در این صفحه دانلود کنید هر آموزشی که برای یک فروشگاه اینترنتی لازم هست رو توضیح دادم. البته ما تا اینجا تصور می کردیم که شما سیستم مدیریت محتوایی مثل جوملا، پرستاشاپ یا ASP دارید و از وردپرس استفاده نمی کنید.
البته در حالی که تعداد این صفحات کم باشد یا این فرآیند برای شما دشوار نباشد. بنابراین در حال حاضر بدون نیاز به مورد خاصی، صفحه مدیریتی پنل سایت شما به صورت خودکار از لیست ایندکس‌های موتورهای جستجو حذف می‌شود. هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمت‌های سایتشان نفوذ کند می‌توانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند.