"Плохие" роботы - список

А смысл?

Дык, вопрос: "а что за робот тряс мой сайт вчера?" - звучит чуть-ли не ежедневно ;).

Готов помочь: скопилось много выдранных из логов всяких юзер-агентов, можно публиковать после проверки.

Все должно быть упорядочено и классифицировано☝

Так это от новичков обычно вопрос. :) Опять же - приведен не список левых роботов вообще, а тех кто нарушает robots.txt. Если и составлять нормальный список - то список роботов, которых можно забанить без ущерба для посещаемости, и то при нынешней стоимости бендвича - это пустая трата времени.

Дык, в том и дело, что с "левыми" бесполезно воевать, а этих надо хотя бы знать ;)... а то потом спрашивают, как вот это (или про это) попало в поисковики ...

единственный смысл в оном на уровне сервера блокировать доступ таким роботам ... дабы не напрягали лишний раз ...