تولید Robots.txt
فایل robots.txt سایت خود را بسازید و دسترسی خزندههای موتورهای جستجو را مدیریت کنید.
پیشتنظیمها
قوانین User-Agent
آدرس Sitemap
فایل خروجی
قوانین را اضافه کنید تا فایل robots.txt تولید شود
درباره این ابزار
ساخت آنلاین فایل robots.txt برای مدیریت دسترسی خزندههای موتورهای جستجو. قوانین مختلف برای رباتها تعریف کنید و فایل آماده دانلود دریافت کنید.
تمام پردازش در مرورگر انجام میشود و اطلاعاتی به سرور ارسال نمیشود.
ویژگیها
- تعریف قوانین مجزا برای هر User-Agent
- پشتیبانی از Disallow، Allow و Crawl-delay
- پیشتنظیمهای آماده (اجازه به همه، مسدود کردن همه، استاندارد وردپرس)
- افزودن آدرس Sitemap به فایل خروجی
- کپی و دانلود فایل robots.txt
سوالات متداول
فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی در ریشه وبسایت است که به خزندههای موتورهای جستجو (مانند Googlebot) میگوید کدام صفحات یا بخشها را بخزند و کدام را نادیده بگیرند.
Crawl-delay چیست؟
Crawl-delay مدت زمان انتظار (بر حسب ثانیه) بین هر درخواست خزنده را مشخص میکند. این دستور برای کاهش فشار روی سرور استفاده میشود. توجه کنید که گوگل این دستور را نادیده میگیرد.
تگ Sitemap در robots.txt چه کاربردی دارد؟
با افزودن آدرس نقشه سایت (Sitemap) در فایل robots.txt، موتورهای جستجو میتوانند ساختار سایت شما را سریعتر کشف و فهرستبندی کنند.
آیا robots.txt سئو را بهتر میکند؟
robots.txt مستقیماً رتبه سئو را بهبود نمیدهد، اما با مسدود کردن صفحات بیارزش (مانند صفحات مدیریت) و هدایت بودجه خزش به صفحات مهم، به بهینهسازی غیرمستقیم کمک میکند.
