Сайт атакует GoogleBots

Недавно на сайте заметил проблемы с сессиями. Оказалось закончились INODE'ы. Потом очистил папку с сессиями и начал писать сессии в БД. И узнал что сайт атакует GoogleBots. Покопавшись, узнал что сайт мой взломали. Это были японские SEO атаки. Сделал все необходимое, посмотрел безопасность сервера, права файлов менял, проверял и вручную и через антивирусы сайт на вредоносный код. Ничего не нашел, потом домен перевел на обычный хостинг и руте сайте поставил только один файл (index.php):

$ip_address = $_SERVER['REMOTE_ADDR'];
$query_string = (isset($_SERVER['HTTPS']) && $_SERVER['HTTPS'] === 'on' ? "https" : "http") . "://$_SERVER[HTTP_HOST]$_SERVER[REQUEST_URI]";
$user_agent = $_SERVER['HTTP_USER_AGENT'];
$time = date("Y-m-d H:i:s");
$str = "$time\t$ip_address\t$query_string\t$user_agent\r\n";

file_put_contents('log.txt', $str, FILE_APPEND | LOCK_EX);

Получается другой сервер, кода совсем нет, но все равно атакует боты Гугла, и не только гугла, там есть и яндекс боты, и бинга и т.д.д. Там боты атакуют не каждую секунду, а в непрерывно.

Это записи сессии, log файл точно такой же

Конечно можно блокировать эти IP, но это не выход. Кто сталкивался? В чем проблема? Я не думаю, что проблема в коде или в настройке сервера или в БД.


Ответы (1 шт):

Автор решения: hardworm

Да тут много проблем может быть:

  • Полное не понимание как это работает (боты ходят постоянно и в это не должно быть проблемой)
  • Долгое хранение сессий
  • Кривые настройки php (храните разумное время сессии например в redis)
  • В robots.txt ботам можно указать Crawl-delay
  • Возможно не держит нагрузку говнохостинг (можно спрятаться за какой-то CDN)
  • Возможно что-то стоит запретить индексировать в robots.txt
  • Было бы не плохо сделать sitemaps что бы боты не обходили сайт почем зря
→ Ссылка