Запрет ahrefs доступа к сайту в htaccess

Нашел несколько решений, но ahrefs продолжает успешно проверять сайт:

Options FollowSymLinks ExecCGI
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^[^4]* /404 [L,S=4000]

RewriteEngine On 
RewriteBase / 
SetEnvIfNoCase Referer "^$" bad_user
SetEnvIfNoCase Referer "^AhrefsBot" bad_user
Deny from env=bad_user

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]

SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot

<Limit GET POST HEAD>
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</Limit>

Если существует возможность запрета ВСЕХ ботов, кроме гугл (или белого списка), этот вариант подойдет больше.


Ответы (0 шт):