Как правильно ограничить поведенческих ботов

Понял. Вполне логично. Отбросить начальных ботов жсом (так в клауде обычно делали, ставя жс на прямые заходы), а поведенческих ботов уже третировать через промежуточную страницу. На эту тему есть ряд антибот/антиддос систем, если тема рабочая, то можно попробовать упаковать ее в коммерческий продукт.

В статье Зимина было написано как отрубить Битерику (с нее в то время шло больше всего ботов) и разобраться с интерфейсом.

Далее уже все сами допиливали свои настройки, под свои задачи.

В целом задача определять сетки и IP ботов по Метрики и логам. И настраивать правила фильтрации: бан или капча.

Ничего сложного, думаю все кто разобрался с SEO, то и настройка клауда проблем вызвать не должна.

Вы же эту преподносите как какие то особые знания, которые подвластны только супер эхспертам😁

Антибот работает так же: просто фильтр для спам сеток и IP.

Я вам так скажу, у каждого своя правда, просто боты разные бывают и задачи у них разные, кого то парсят, кому то хотят/пробуют поведенческие испортить, не важно работает это или нет, важно что визуально метрику портит, созают дополнительные нагрузки на ваш сервер, приходится покупать железо дороже. Минусов  от ботов куча и нормальных ботов сложно поймать, проверить, у меня есть даже сбор ips которые я кроном по базе прогоняю, правда в бесплатном режиме, сейчас в базе 8870047 подозрительных IP отловленных моим сервером, думаю с выходом на пенсию даже не смогу этот список програть по базам. Могу выгрузить весь список, только если вы его в nft добавите сожрете как минимум половину вашей оперетивки на сервере, а если по маске забаните то и трафика лишитесь вовсе. Кроме того, те кто боролись с целеноправленной бот сетью знают на сколько быстро алгоритмы адаптируются под ваши лайтовые проверки на ботность, можно каждую неделю или две менять правила, их будут обходить в 100% случаях. Если вы делаете защиту которая в автоматическом режиме делает различные проверки, то найти ключик для лазаейки вопрос времени, если это конечно целесообразно для того кто хочет нагнать на вас ботов. Самое действенное правило для остановки ботов это лишь то насколько дорого это будет выходить вредителю или на сколько ресурсоемко будет обходить проверку.

Об этом говоришь только ты, я других ораторов по этой теме давно не видел.

Боты решают любую капчу, с этой задачей не справляются Гугл, Яндекс, где все очень хорошо с кодерами.

И без загрузки метрики крутят сайты, ты просто про это не знаешь. 

Если бот не грузит метрику, ни на серпе, ни на твоем сайте. Тебе налили 100500 кликов. Дальше что?

Посмотрели боты 5 секунд твою капчу и разбежались по другим сайтам. Реально защитил?)))

Первостепенная задача для меня защитить сервер от ботов снизив нагрузку на него, следующая очистить метрику от шлака, который регулярно видел в ней, осовенно когда у меня было по 40-80к заходов ботов. Конечно защитил, когда у тебя под 1 лям страниц и mongo падает от ботов, приходится чего то делать или платить в разы больше. На счет last click, работает он уж явно не тогда когда тебе наливают шлак, по крайней мере я уверен в том что ПС умеют определять бота от человека, да и вообще это какое то абстрактное определение. Если возьмем то что человек перешел с выдачи, провел на сайте 3 минуты, а затем решил вернуться в поиск и поглядеть что нибудь еще по этой же теме, считается ли это last click или нет?! Другой момент, пользователь зашел на откровенный ГС, но инфу по своему вопросу он нашел, получается last click, но тогда почему в выдаче в ТОП обычно стоят качественные сайты? Потому что у них больше last click? Или все же потому что пользователь перешедший на них получает не только нужную ему инфу, но и что то еще стоящее. В общем это какая то конспирология и теория заговоров с целью запутать всех подряд, для меня last click это что то вроде беспонтового page speed, шум есть, а толку нет.

Еще такое момент, мне на протяжении 3х лет лили на сайт какой то непонятный трафик с кучей отказов, по логике с last click позиции должны были шлепнуться, но че то не сраслось видать. Если брать Яндекс, во что я верю, так это только в поведенческие и то не во все подряд, а в какие то пределенные действия + возвраты на сайт.

это лажа - про потребность... 

то что старый "яша" это тему контролит это факт , но то что он видит человека закрывшим для себя вопрос он не знает, он только это может по ушам зачесывать в своих расуждалках  для неравнодушных бедолаг....

Тебе бы изучить SEO и понимание ранжирования для разных тематик. Ведь в некоторых тематиках пользовательская сессия длится несколько месяцев или полгода, а last cklick всего один)))

Тогда бы ты не задавал таких вопросов.

Только непонятно с чего ты взял, что ты там был last cklick ? Ботовод правду рассказал? А может Яндекс палил все это как бот-траф?

Или ты по какому-то частному случаю что-то хотел доказать?

Я не отношусь к верующим. Есть огромное количество сайтов с товарами или услугами, где повторный возврат не предусмотрен. Например, вывод тараканов, вывод из запоя, выездной шиномонтаж, эвакуатор, ритуальные товары и услуги.

Вот так у вас и выходит, что не знаете как работает SEO, но сайты защищаете.

Похвально!

Да пусть так и будет! Тема ж не про SEO.

А про ваши два с половиной хитрых способа не показать боту метрику и сунуть капчу.

Было бы не лишним показать тестирование этих методов на выборке разных сайтов с участием независимых и экспертных ботоводов. Для убедительности, что не порожняк годами пишут.

ласт клик не имеет существенного веса.

Откуда такая информация или такие выводы? Или просто это может сделает бесполезными покупки подписок на разноцветные квадратики на сайтах?)) И тогда возникает логичный вопрос, о том, как же тогда ранжируются сайты без метрики?

Возможно, изначально ссылки а там и сами браузеры шлют же инфу своим поисковикам.