بروزرسانی: 27 خرداد 1404
سئو در اصفهان "seo in isfahan" سنیور سئو
برخی از عوامل کاربر (ربات ها) ممکن است فایل robots.txt شما را نادیده بگیرند. این امر به ویژه در مورد خزنده های بد مانند ربات های بدافزار یا خراش دهنده آدرس ایمیل رایج است. اگر فایل robots.txt حاوی هیچ دستورالعملی نباشد، به صورت پیشفرض برای خزنده ها اجازه برخی کنجکاوی در وب سایت را ارائه می دهد.
- اگر شما اعتقاد دارید در بودجه خزش سایت شما اشکالاتی وجود دارد پس بلاک کردن موتورهای جستجو از بررسی قسمت های کم اهمیت سایت، از هدر رفت بودجه خزش جلوگیری می کند.
- با این فایل شما می توانید محتواهایی که نمی خواهید توسط موتورهای جستجو بررسی و در نتایج جستجوها نشان داده نشود را مشخص کنید.
- فایل robots.txt دستورالعمل هایی را برای ربات ها مشخص می کند.
- در مثال زیر تمامی ربات ها از دسترسی به دایرکتوری media منع شده اند اما در عین حال اجازه دسترسی به یک فایل پی دی اف با عنوان terms-and-conditions.pdf موجود در دایرکتوری media داده شده است.
سئو Onpage به مجموعه کارهایی گفته میشه که داخل سایت انجام میشه و به اصطلاح فاکتور های داخلی سایت هست،مثل H1 و Title tag و Meta description البته این موارد خلاصه چک لیست Onpage هست. اولین و مهم ترین نکته حساس بودن ربات ها و خزنده ها به کوچک یا بزرگ بودن حروف است. این دو خط اما اجازه بررسی سایت ما را به صورت استثنا به ربات Googlebot می دهد.
داشتن فایل robots.txt برای هر دامنه یا زیردامنه
دستور Disallow برای ایندکس نکردن کاربرد دارد؛ با این دستور شما به ربات های موتور جستجو می گویید که نمی خواهید صفحه یا بخش مورد نظر در سایتتان، ایندکس شود. بعد از اینکه public_html را باز کردید، فایل را به داخل آن بکشید؛ توجه داشته باشید که به عنوان مالک سایت، باید بتوانید به تمام قسمت های فایل دسترسی داشته باشید و آن را بخوانید، ویرایش کنید و بنویسید. لازم به ذکر است که این دسترسی ها را هیچ شخصی به غیر از مالک سایت نباید داشته باشد.
نحوه استفاده از دستور Crawl-delay *
اگرچه گوگل صفحاتی که در فایل Robots.txt محدود شده اند را خزش و ایندکس نمی کند، اما ممکن است از سایر صفحات، لینک هایی به این صفحات محدود شده وجود داشته باشند که موجب ایندکس شدن این صفحات شوند. برای گذاشتن کامنت و یادداشت در داخل فایل ربات می توانیم از علامت # استفاده کنیم، به این ترتیب جلوی هشتگ هرچیزی که بنویسیم توسط ربات ها و خزنده ها نادیده گرفته می شود. همانطور که گفتیم، هاست و منابع سرور سایت ما برای پاسخ دادن به درخواست های ربات ها دقیقا همانند پاسخگویی به درخواست های کاربران واقعی مشغول می شود. وقتی این درخواست ها از حد توان سرور سایت ما خارج شوند اتفاق از دسترس خارج شدن سایت رخ می دهد. حالا که تا حدودی متوجه شدیم که کلیت این فایل چیست، بد نیست که نگاهی به نقش های فایل robots.txt و دلایل اهمیت آن بپردازیم و دقیقا مشخص کنیم که چرا سایت مان باید حاوی فایل robots.txt باشد.
طراحی سایت املاک
آدرس صفحات سایت خود را آنالیز کرده تا متوجه شوید کدام یک از آن ها برای ربات ها مسدود شده هستند. به این معنی است که تمام بخش های این سایت قابل دسترس برای تمام ربات ها و خزندگان موتورهای جستجو است. اما اگر قصد این را دارید که اطلاعات خود را فقط برای یک ربات خاص تعیین کنید باید نام دقیق آن ربات را به جای ستاره جایگذاری کنید. دسترسی موتورهای جستجو به این صفحات یا فایل ها را محدود کرد.
در زمان استفاده از فایل robots.txt باید توجه داشته باشید که این امکان وجود دارد تا شما دسترسی موتورهای جستجو به بخش عظیمی از سایت خود را مسدود کنید. فایل robots.txt به مدیریت فعالیت های این خزنده های وب کمک می کند تا بر سرور وب میزبان وب سایت، یا فهرست بندی صفحاتی که برای نمایش عمومی نیستند، هزینه بار اضافه نکنند. در این مقاله در رابطه با اصول طراحی وب سایت مدرن صحبت می کنیم و عوامل مهم در این طراحی را بررسی می کنیم.