Запрет ahrefs доступа к сайту в htaccess
Нашел несколько решений, но ahrefs продолжает успешно проверять сайт:
Options FollowSymLinks ExecCGI
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^[^4]* /404 [L,S=4000]
RewriteEngine On
RewriteBase /
SetEnvIfNoCase Referer "^$" bad_user
SetEnvIfNoCase Referer "^AhrefsBot" bad_user
Deny from env=bad_user
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Если существует возможность запрета ВСЕХ ботов, кроме гугл (или белого списка), этот вариант подойдет больше.