Всем доброго времени суток.

90+ дней назад гугл-боты создавали нагрузку на сервер и я ограничил скорость сканирования сайта. Пару дней назад ограничение спало и за последние два дня ботом с ip адреса 66.249.64.199 поступило 6,4565 CPU, %, что сильно нагрузило сервер.

Мне интересно он и дальше так же агрессивно будет сканировать или снова будет требоваться ограничивать скорость сканирования?

Отмечу, что ранее такого не замечалось и все было нормально. Никогда до этого момента трех месячной давности сайт на превышал ограничения серверных минут хостинга. А потом стало как помазано и гугл боты стали так рьяно сканировать сайт.

Как пишут на различных форумах, есть способы ДоС атак через google, еще возможны сбои скриптов, где то какой то глюк или с базой какие то проблемы. Если нет возможности перейти на более дорогой тариф, то воспользуйтесь моим модулем http://prestadev.ru/addons/administration/518-bl......shop-16-17.html. Он автоматически будет блокировать IP адреса превышающие количество запросов в определенный промежуток времени. Потом вручную Вы можете разблокировать IP поисковиков.

Понял. Буду смотреть.

Парни, всем привет. Помогите забанить бота по имени Petalbot. Блокировка в .htaccess по IP не помогает, он заходит с разных адресов. Пробовал так:
<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} petalbot [NC]
RewriteRule .* - [F,L]
</IfModule>
Тоже не помогло. У кого-нибудь есть решение как не пускать этого гада на сайт?

Правило указанное вами выше должно рабатать, возможно в логах вы видите переходы, но со статусом 403 - доступ запрещён.
Напр.:

Если правило не срабатывает поместите его в самый верх .htaccess.

Если установлен nginx и имеется возможность правки конфигурации, добавьте нечто подобное: