Прямые заходы и 100% отказы

В логах обнаружила два настырных бота:

AppleWebKit/537.36

keys-so-bot

IP адреса разные….

Это вредные или полезные боты?

Как считаете, стоит ли банить все IP или лучше сделать что-то другое?

Он не вредный, но и пользы в нем нет для вас)

keys-so-bot конечно можно банить....

AppleWebKit/537.36 то не бот... лучше погуглить, что оно такое....

Да просто идентификатор движка браузера. Забудьте.

А вот кейссо да, можно банить.

Да не. Они же по ipv4 повторяются. В реальности их штук 100 самых настырных. Потом каждую неделю добавлять штук по 10. Меняют заразы. Задача их держать на уровне 100-150 переходов в сутки. По времени это около часа. Так как боты повторяются, я обычно смотрю логи за первые 6 часов. 

Понятно что файл htaccess со временем становится большим. Поэтому правило блока раз в пол года нужно сделать с новыми ботами с нуля. 

Заблокировала трех ботов на сайте. Но всё равно основные прямые заходы были от непоймикого. Всё так и осталось. Они, мне кажется, ещё больше озверели😂 (смех сквозь слёзы уже). Обратилась в поддержку хостинга. Мне порекомендовали никого не банить (ни по юзер-агенту, ни по ip), иначе под раздачу могут попасть реальные люди. Посоветовали обращаться в специальные конторы по защите от дос-атак.... Вот и всё. А все эти конторы удовольствие не из дешевых. С сайта, который в месяц приносит доход копейки, платить от 8 тыс. руб. за месяц на защиту - ну так себе удовольствие.

В общем, проблема до сих пор актуальна.

Возник вопрос. А может ли от атак помочь капча? 

Можно ли капчу установить только на главную страницу (куда все прямые переходы и производятся)? то есть те, кто пришел на сайт из поиска по ключевым словам попадут сразу на нужный пост. А те, кто перешел на главную - пройдет капчу сначала. Такое возможно?
Или пустая трата времени? Что скажете?

Можно. Тут нужно пробовать, некоторые боты легко решают капчу. Есть капча обычная есть от клауда допустим (реализация капчи имеет множество вариантов).
На форуме есть 2 ветки по ботам, как блокать с помощью Cloudflare или через .htaccess  - изучайте тему бесплатно самостоятельно заблокируете их, просто нужно тратить на это время.

Услуги по защите дорогие, никто не хочет тратить время на изучение логов Вашего сайта за 1 рубль, + поддержку защиты и вопросы / ответы. Есть новички, которые готовы работать так, а так же консультации, где просто направят Вас и подскажут.

Такую же проблему наблюдаю на парочке своих сайтов. Заблокировал пользователей с агентом, в котором есть YaSearchBrowser. Сделал капчу для таких запросов. Вопрос решился. 

Такое ощущение что это попытки чтения страниц для превью. Независимо от юзера. Ну к примеру он его когдато открывал и оставил в открытых вкладках. имхо.

Я тоже боролся с ботами, а потом увидел, что меня просто парсят.
Начал с ними бороться. А сейчас третий день изучаю Python и сам практикую парсинг. Там можно любые переменные подставлять кроме IP, логи не обманешь.

Я бот получается ..

Прошу прощение, что не по теме. Но не знаю в какой ветке спросить)))

Подскажите, пожалуйста, как можно сократить эти записи? Начало у них у всех одинаковое. Но как сокращать, как считать и прописывать знаки для короткой записи - не знаю.

deny from 2a00:1838:30:5200:b72e:f06f:4687:2b30

deny from 2a00:1838:30:5219:26b5:2f0c:ae9f:bcd9

deny from 2a00:1838:30:527d:58ce:5a88:a998:122f

deny from 2a00:1838:30:5283:a88b:346:bf60:6bbf

deny from 2a00:1838:30:5286:7f91:f4f:70d2:50c6

deny from 2a00:1838:30:52b4:fba3:1af2:95dc:69bf

deny from 2a00:1838:30:52b6:3770:3e4d:e14d:ec31

deny from 2a00:1838:30:52bc:557d:41b4:9587:fd2b

deny from 2a00:1838:30:52e5:7bb7:93e6:97d9:8241