فایل Robots.txt چیست و چطور یکی درست کنیم؟

فایل روبوت یا Robots.txt فایلی است که تکلیف بات های کراول کننده سایت توسط موتورهای جستجو را مشخص می کند. در این فایل به بات ها گفته می شود که کدام دایرکتوری را اسکن کنند و کدام را بیخیال شوند!

ممکن است روی هاست شما این فایل وجود نداشته باشد، این موضوع خللی در ایندکس شدن سایت شما ندارد ولی اگر فایل Robots.txt را داشته باشید قطعا وضع شما بهتر می شود. در این پست می خواهم به شما آموزش بدهم که چطور به سادگی برای خود یک فایل Robot.txt ایجاد کنید.

برای شروع یک فایل Text باز کنید و عبارات زیر را عینا در آن کپی کنید. فقط به جای آدرس Example.com آدرس سایت خود را وارد کنید.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

این فایل را ذخیره کنید و نامش را به Robots تغییر دهید و درون فایل منیجر هاست خود در پوشه public_html قرار دهید.

اگر این کار سخت است می توانید از افزونه All In one SEO نیز استفاده کنید. درون بخش ابزار، بخشی برای ایجاد فایل Robots.txt دارد که این متن را نیز آماده در خود دارد ، کافیست شما تنظیمات اولیه آن را ذخیره کنید .

با این کار ساده حداقل چند درصد به سئوی سایت خود کمک کردید.

موفق باشید.