اگر می خواهید فایل Robots.txt خوبی داشته باشید حتما پست زیر را قبل از مطالعه این پست بررسی کنید:
فایل Robots.Txt چیست و چطور یکی درست کنیم؟
حالا اگر فایل Robots.txt ایجاد کردید ولی به هر دلیلی این فایل با خطایی مشابه زیر در دسترس نیست ، احتمالا مشکل از دسترسی نوشتن و بازنویسی در فایل htaccess شماست.
It looks like you are missing the proper rewrite rules for the robots.txt file.
برای رفع این موضوع بایستی مجدد فایل htaccess هاست خود را بازنویسی کنید. برای این کار فایل قبلی را پاک کنید و یک فایل جدید ایجاد کنید و متن زیر را درون آن کپی کنید:
# BEGIN WordPress
RewriteEngine On
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
# END WordPressاگر حالت بلاگ دهی دارید یا سایت شما درون ساب دامنه است از کد زیر استفاده کنید:
# BEGIN WordPress Multisite
# Using subdomain network type: https://wordpress.org/documentation/article/htaccess/#multisite
RewriteEngine On
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteBase /
RewriteRule ^index\.php$ - [L]
# add a trailing slash to /wp-admin
RewriteRule ^wp-admin$ wp-admin/ [R=301,L]
RewriteCond %{REQUEST_FILENAME} -f [OR]
RewriteCond %{REQUEST_FILENAME} -d
RewriteRule ^ - [L]
RewriteRule ^(wp-(content|admin|includes).*) $1 [L]
RewriteRule ^(.*\.php)$ $1 [L]
RewriteRule . index.php [L]
# END WordPress Multisiteاگر از وردپرس قدیمی تر استفاده می کنید. نسخه 3.5 به قبل، پیشنهاد می کنم حتما وردپرس خودتان را بروز کنید.
موفق باشید.
