Посмотрел по IP, это не пользователи форума, добавил в IPTABLES
iptables -I INPUT 1 -p tcp --dport 80 -m string --string "iterator" --algo kmp -j DROP
Посмотрю на результат, может потом чуть уточню фильтр по реальным данным.
Вопрос не в банить/не банить, мне хочется понять, что это? Если это какой-то ботнет, то какую уязвимость он пытается эксплуатировать? Если это DDOS, то он дохлый какой-то, чтобы на него вообще внимание обращать.
Понятно, вопросов больше нет.
Робот запросил файл index.php и, как я полагаю, прочитал ответ скрипта. Что он сделал с этой инфой потом - мне неизвестно.
Я о другом, робот не считывает содержимое robots.txt перед каждым переходом по ссылке, а считает, что загрузки содержимого этого файла раз в сутки (?) достаточно.
Никого не обвиняю, ничего не хочу, просто информация! Видимо, решение проблемы простое, дождаться, когда гугл обновит инфу о файле robots и только тогда загружать неиндексируемый контент.
Заголовок исправил.
Упс.. а этот форум не умеет править основной заголовок??