Множественные (нулевые) переходы по внутренним страницам сайта: есть ли смысл бороться с ботами и парсерами?

Один гражданин повлияет на весь сайт? Забей! Когда их будет 1000+ тогда можно начать переживать, и то...

Нужно изначально ограничить возможность просматривания такого количества страниц за такое время (кроме нужных роботов) с блокированием IP.

Хостинг сообщил, что сервер настроен с 6 секундной задержкой. Если я правильно понимаю, это delay, косвенно защищающий от такого рода воздействия.

Через APC все делается. Каждому IP при первом заходе присваивается переменная = 1 на определенное время, потом при каждом заходе она увеличивается на 1. Когда достигает установленного предела - действие (блок, бан и т. д.).

Нужные роботы проверяются сначала по User-Agent, затем по имени хоста. Если фальшивый - сразу в бан. Если настоящий, присваивается переменная, которая при следующих заходах роботов сразу пропускает.

Интересная картина.

Хотелось бы услышать мнение тех, кто сталкивался с аналогичной ситуацией.

Робот/парсер/мудозвон, о котором я говорил, послан к чёртовой матери.

Решил немного передохнуть от писанины. От "нечего делать", зашёл в Вебвизор.

Бороться с данным явлением я не собираюсь.

Единственно, что мне интересно - это конечная цель того, о чём я сейчас расскажу.

Примерно 2 захода в сутки. В интервале от 3 до 4 утра по Москве. В течение двух месяцев и 2 года назад!

Все визиты прямые - с Гугла. Всегда сначала на "морду" сайта.

Затем, ВСЕГДА, используется форма поиска по сайту, в которую вводятся, в течение почти 2 месяцев, однотипные запросы:

https://site.ru/?s=стать умнее

https://site.ru/?s=красоту лица

И т.п.

Затем следуют нулевые заходы на посты и дальнейшее перемещение по пагинации:

https://site.ru/page/3?s=стать умнее

https://site.ru/page/3?s=красоту лица

В чём заключается конечная цель? Ведь слишком затянулись по времени такие визиты.

И терпение у человека "железное".

Возможно мониторит человек определенные темы, интересен ему ваш сайт, зачем его банить?

Возможно кто-то ПФ себе крутит и переобучает нейронку Яндекса на конкурентах. Чтобы боты были правильные, человечные, с нужным профилем.

Кто-то сайт парсит, цены мониторит, конкурентов анализирует, или сеошный анализатор на сайте статистику собирает и т.п. Вы еще серверный лог не смотрели, а только в метрику заглянули.

Что теперь из-за каждого из них нервы себе портить?

Забудьте про них и займитесь чем-нибудь по-настоящему полезным или приятным! :)

Как приятно читать ответы, идущие из самого сердца.

Без единой толики лести, я хочу пожелать Вам удачи.

***

Пусть себе парсит, горемыка.