Столкнулся с такой проблемой - всякие парсеры и роботы левые начинют лазить по сайту и всё время лезут добавлять товар в корзину, что влечёт за собой не маленькую нагрузку на базу (более 350к товаров). Какие есть идеи по борьбе? Банить по айпи не вариант - не хочется сидеть и мониторить круглые сутки. Может быть можно скрыть кнопку добавить в корзину пока пользователь не залогинен?

robots.txt не помогает?

Это поисковые системы упорно лезут. В вебмастере яндекса можно посмотреть что ссылки на корзину исключены из поиска, но исключаются они только после перехода по ним робота

В общем не нашёл подходящего решения, кроме как забанить робота амазон. Он парсит сайты и смотрит какие товары в ходу. Забанил просто его подсеть =) Пока больше никакой робот ничего в корзину не добавлял.

И как же он это интересно делает?

Элементарно - лезет на целевые старницы товаров и добавляет их в корзину. А теперь представь что он анализирует товары в миллионе магазинов и берёт из них самые встречающиеся. Если он до моего магаза добрался, которому 2 месяца, то чтоже тогда с крутыми магазами происходит...

Кстати да, он лезет туда куда запрещено лазить в роботс.тхт =)