Анти БОТ

Тема действительно проста, никаких ботов не существует в природе, это все выдумка. Вон ниже 2 инспектора, искали не нашли.

Это да, понятно, когда откроешь в поиске например 10 вкладок, а потом закроешь не востребованные не заходя на них, или переход в таб + крестик - вот и отказной визит. Либо просто висит окно в браузере, миллион вкладок открыто.
Имелось в виду вот как на скриншотах. Первый это за месяц, там наглядно видно, где с фильтрацией а где нет.
Второй скрин - это уже за день (данные на базе 7 тыс визитов за этот день).

Это комплексно нужно настраивать, слепки это основа, для фильтрации начального уровня, из разряда включил а дальше оно само, волшебная кнопка в действии. А вот набор правил WAF значительно расширяет все это, и под капчу начинает дополнительно попадать часть визитов, которые изначально, по умолчанию, в антиботе помечены как пользователи, но при этом имеют параметры как у ботов (выше на скрине у меня допустим засветилось правило, антидетект, система определила эмулированное устройство). Т.е. в одном и том же слепке реальных посетителей часть визитов идет без капчи, а часть - попадает под проверку. Например, хостинговые визиты я при настройке отправляю тоже под капчу, отделить реального посетителя с ВПН от бота, использующего ту же самую инфраструктуу. Алерт на уровне ОС, там пояснительный текст и нужно нажать ОК. А как мы знаем, с всплывашками даже на уровне браузера ботофермы плохо справляются. Даже без защит, если на весь экран вылазит модальное окно - бот за ним деловито пытается листать сайт. А этот алерт вообще не видит, соответственно технически - нажать его не способен. Общая база + набор правил WAF.

Пользователь при входе на сайт видит вот такой кружочек. Левая часть - проверка всех параметров на стороне киллбот. Правые цифры в кружочке - это уже процесс загрузки самого сайта. Как только все подтянулось - сразу открывается сайт, уже полностью прогруженный. Т.е. все это крутится около 1-2 секунд, в основном, дальше сразу идет просмотр сайта.



Если система определила что это пользователь - просто открывается сайт.

Если в системе такой визит определяется как бот - появляется вот такая капча. Это основная, но есть и продвинутая, для тяжелых случаев, которая на данный момент в стандартной реализации антидетект браузеров не решается (это капча на уровне ОС, а не браузера).

Также на этом экране есть скрытое меню, которое любят жать боты, изображающие активность, в эту ловушку они часто попадают, ловя вечную капчу по кругу (это уже настраивается на уровне правил WAF).

В зависимости от настроек, можно боту показать метрику, а можно и скрыть. Т.е. бот грузит сайт без метрики (привет детским любителям огульно отключать метрику у себя на сайтах, мол не вижу значит этого нет).
Соответственно, при полноценной настройке, показатель роботности на сайте начинает стремиться к нулю. При сохранении статистики посещений по реальным пользователям.

Года полтора-два назад весь инет был завален ботами Ростелеком Кранодар. В промышленных объемах. Потом они что-то подкрутили, и этот трафик сошёл на нет, объемы переместились в другие сети.

Сейчас тоже есть бот трафик с Ростелекома, но объемы да, уже не промышленные.

Сейчас вроде 141 версия крайняя.
В настройках рандомизации в ботофермах могут быть прописаны разные версии браузера. А например кто на винде семерке остался, там последняя - 109 хром. Блоканете старые версии хрома - блоканете и их.

Т.е. версия в юзерагент почти ни о чем не говорит.  Можно конечно рассказывать сказки что у меня мол только с конкретным номером боты ходят, а остальные - хорошие. Но как правило это танцы с бубном и самоуспокоение. Нужно искать другие варианты фильтрации, а не по номеру версии блокировать.
Если китайские айпи, как вон по всем темам ластвариор пишет, то баньте китайские айпи. Если айпи например российские - то так уже не прокатит.

Имеется в виду что сгенерированный нейросетью текст для инфосайтов - намного качественнее чем чуть ранее сгенерированный рерайтерами, разбирающимися в теме как свинья в апельсинах?

Более краткий - да,  сам уже чаще спрашиваю у нейросети, чем у поиска. Но и здесь какая-то своя база должна быть, чтобы галлюцинации за чистую монету не принимать, переформулировать промпт, если видно что ответ мягко говоря не катит.

Да и по статистике, недавно попадалось по гуглу, - падает число поисковых запросов. И в итоге деградирует именно поиск и все что вокруг него кормилось. Включая сео (+ современное ответвление сео - накрутка поведенческими ботами, которое становится дороже), собственно то о чем в оглавлении топика идет речь. На которое завязано создание тонн бредотекста, с дальнейшей монетизацией всего этого через тот же РСЯ/адсенс. Как говорится, поставим этому всему - Дорожную.

По моему сайту. Постепенно в реферерах сайта начинает появляться тот же perplexity. Не так много, но в целом процесс уже идет, не заметить этого - невозможно. Ну а сколько просто не пришли (здесь отсылка к золотым временам эпохи СДЛ), так как ответ получили в самой нейронке - море. Благо лично у меня не инфосайт, цифры трафика не так важны, как и собственно наличие самого сайта.

Сейчас рекламой забита поисковая выдача, скоро, оглянуться не успеем, рекламой будут обвешаны ответы нейронок. Как только отгрызут достаточный процент рынка у поиска. Если пузырь ии раньше не схлопнется, тогда процесс внедрения монетизации ускорится. Не все же на деньгах инвесторов, с выпученными глазами, расти.

А с этим кто-то спорит? Я же раньше написал, инфосайты еще до ИИ были забиты бредотекстом, рерайтом с рерайта. Так что то что они умирают, это вполне закономерный итог.

Вопрос в том, что эти галлюцинации воспринимаются за чистую монету. В итоге приходит человек, который уверен что 2+2=5, и его уже ничем не переубедить в том, что это не так. Для него ответ нейросети - это истина в высшей инстанции. 

На строительных темах, кстати, это очень явно заметно. Ищешь какую-то информацию, а в топе везде рерайт с рерайта, и рерайтом погоняет. Такой вылизанный выхолощенный общебред пишут, однотипный.

Причем на вопрос (условно, по аналогии) например сколько будет 2+2, сначала идет лекция на тему создания письменности, истории науки, видов систем исчислений, истории математики, теории относительности, общее описание вероятности, и проч, и только где-то среди всего этого сочинения на полтома войны и мира затесалась цифра 4, которую еще поискать надо, и не факт что она там есть.

А потом на этом же, стодвадцатьпятом поколении отрерайченгого рерайта, которого в общей массе источников например 99%, обучился ИИ. Ну и выдает то же, что и те дорвеи, с которых он это слизал.
Т.е. контент и до этого был убит, говнорерайтерами, а ИИ - это уже более продвинутое поколение рерайта с рерайта. Причем все это в ТОПе, плюс в быстрых ответах в поиске. Который, собственно, в процентах использования, уже теряет свои позиции в пользу нейросетей.