Борьба с роботностью

Но в основной массе пишут то те, кто сами не имеют представления о том, чем отличаются парсеры от поведенческих ботов.

В итоге все подобные темы на форуме превращаются в срач о том, как кто-то в годами собирает список для htaccess, и это универсальная таблетка от всех ботов, даже поведенченских, которые здесь даже рядом не стояли (кроме тех редких случаев, когда что-то можно забанить по IP).

Если именно про поведенческих, т.е. то что можно увидеть в метрике: рандомное везение/не везение, присутствие в данный момент или не присутствие в различных списках различных ботоводов, текущие позиции по какому-то пласту запросов который как раз качают в вашей нише, наличие именно в данный момент каких-то нагулов у того или иного ботовода (это не кто-то один, это огромная масса разного софта/железа с разными уровнями технологий), мощность с которой он качает своих ботов, с каких айпи он их качает, какие это боты, начальная масса или уже прокачанные, и прочая масса рандомных параметров, которые меняются во времени, и которые от вас никак не зависят.
Поэтому сегодня одни параметры ботности и количество тех кого Яндекс посчитал как ботов, а завтра другие. 
А вы в этот момент дергаете не подключенный ни к чему рубильник, и пытаетесь найти взаимовязь.

вообще не так. надо регулярно следить за показателем роботности в метрике и анализировать, кого за бота он принял сегодня. и блокировать их.

Под рубильником имелся в виду список с парсерами, и попытки как-то связать изменения/не изменения роботности в метрике с выкатыванием списка в нжингс.
А вы, даже не вникая в смысл текста,  сразу  начинаете со мной спорить.

Из разряда, вот смотрите, бывает зеленое и красное...
TonyBlackberry - НЕТ, вы не правы, температура измеряется в градусах Цельсия. 

с вами никто не спорит. и да, у меня есть большой рулон ip, которые я заблокировал. а парсеры банятся обычной проверкой на поддержку  картинок и js.  после того, как поставил эту проверку, количество парсеров снизилось чуть ли не в сто раз.

Еще в панели ISP указано куча IP-адресов. Видимо, которые хостер когда-то решил заблокировать. Как думаете, стоит удалить оттуда? Посмотреть что будет.

И кстати тут же увидел раздел - блокировка по странам)

Ну так логично, такую же задачу решала ЖС капча в клауде на прямые заходы, такую же задачу решает Станислав (он этот же принцип описывал в соседней ветке). Такую же задачу решаете вы, только чуть другим путем.

Только почему вы пытаетесь свое видение наложить на исходные условия, которые задал топикстартер. Нет у него никаких жс проверок, есть только полотно для нжингс, непонятной свежести и актуальности.
Поэтому я и пытаюсь объяснить, что сначала нужно перестать смешивать мух и котлет, и разделять: что такое поведенческий бот, а что такое парсер.

Этот метод называется - метод научного тыка. Это работает только в том случае, если вам важен сам процесс познания окружающего мира путем рандомных действий, а не результат.

Введите эти диапазоны по одному, до /24 (например, 2.63.200.0) вот здесь

https://bgp.tools/

Увидите к какому ASN относятся. В начале у вас есть диапазоны допустим Мегафона, глупо блокировать кого-то, кому попался тот же айпи, что 5 лет / 5 мес назад какому-то слишком активному боту.
А есть полотна с различными китайскими ASN, это можно оставить.

Аналогично по странам. Китай и Сингапур вы сможете забанить по стране, вашего трафика там нет. А вот США уже нет, например. Иначе заблокируете Гугл, и еще что-нибудь нужное. Или другую страну, айпи которой пользуются ваши посетители с ВПН.

Сегменты можно удалить, но включить блокировку по странам, для начала Китай и Сингапур заблокировать. Для квнщиков оставить Европу, они в основном Нидерланды используют.

По твоему скрину делай так. Набирай в Гугле, к примеру, запрос - "чей ip 2.63", Гугл выдаст

IP-адреса, начинающиеся с префикса 2.63.x.x (например, диапазон 2.63.128.0 — 2.63.255.255 ), принадлежат российской телекоммуникационной компании ПАО «Ростелеком» (PJSC Rostelecom, автономная система AS12389).

Ясно, что эти IP банить нельзя - это Ростелеком и с этого пула могут идти реальные человеки из РФ. И так так дальше по списку, думаю, что принцип понятен. По таким запросам Гугл тебе покажет сетки IP своих ботов и ботов Яндекса, которые банить не нужно.

Ботов 16.0 - можно забанить, поскольку, по запросу - чей IP 16.0, Гугл дает:

Диапазон IP-адресов 16.0.0.0/8 (в который входят все адреса, начинающиеся с 16.) исторически принадлежит американской технологической компании Hewlett-Packard (HP Inc. / Hewlett Packard Enterprise)