Яндекс колбасит

Вы ответили, что отрезали. А чем или как? Свои списки или через сервисы, очень интересен вопрос, кто и что с такими ботами справляется.

8 сайтов финансовой тематики?
Вас потеснили сайты банков и прочие "копилки" и т.д.?
Просто мой сайт на фин.тему еще в 2022 году срезали, я ушел в ТГ и в ус не дую - там сейчас вся аудитория.

На этой неделе по моей тематике (туризм, поисковая фраза "как добраться...") весь ТОП-10 в Яндекс выдаче отдали всякого рода сайтам "отзовикам" типа  otzovik.com. Ни одного сайта статейника нет!  Особенно умиляет наличие в топе выдачи  tripadvisor.ru с темой, закрытой 6 лет (!) назад. 

Долго боролся с ТП. Вполне реальный чел из Яндекса (не робот и не Платон) ответил - наличие актуальных данных не является для нас важным показателем, ибо проверка  данных (например стоимость проезда в N-ском направлении) не заложена в алгоритм ранжирования.  

Отсюда по тематике туризм люди уходят тематические чаты телеграм, где можно быстро и четко найти реальную информацию. Яндекс поиском пользуются заметно меньше. У меня часть наиболее активной аудитории в прошлом (группа в возрасте 18-24 года) сузилась до 15%, а  траф сайта просел в 2 раза.  

Если обобщать - белый список IP / сеток.
А способов борьбы - масса: от антиботов и CF (CF делает абсолютно то же самое, что и платные антиботы, только надо руками "подшаманить") до выявления паттернов и блока через php (проще) или JS (сложнее и можно все к фигам загубить).
А можно попробовать через htaccess блокать сетки, если сайты до 10к / сутки, но тут работы много и система будет работать с задержкой на 1 день (для тех, кто не умеет, боится, не хочет иметь дел с антиботами и CF).

Это да, как ниже написанное тобой. Но я вдруг подумал, что появился сервис, который действительно может бороться с ботами такими. А так да, списки и личные наработки используются. Но пока "правильных" ботов чем-то отловить и завернуть особо никто наверно не может. Но всякую менее продуманную хрень ловить удается.

Никак, кроме как по IP / Сеткам или паттернам (тут оооочень точечно, индивидуально и наиболее действенно).
Если появятся сервисы, то большинству пострадавших вебмастеров они будут не по карману, судя по теме "Упал доход", а крупным сайтам - по барабану, у них "жира столько, что ботов в складках и не видно".

Списки растут слишком быстро, даже если сетками, но куда деться. Я тут решил покачать еще от сервисов черные списки и их проанализировать, возможно сократит время.
Паттерны, без вопросов, самое не простое, но действительно под проект и действенное.

У меня 200 IP / день, с начала года около 25к IP, а общая выборка IP почти 100к IP уже с начала года, но в начале "анализа и складирования" по сайту идет бодро, а сейчас выборка пополняется очень незначительно.
Т.е., новых ботов все меньше пытаются пробиться.

И сайт стал "дышать" полной грудью, и никаких падений. По остальным сайтам - аналогичная ситуация, но там коммерция и другие законы, сейчас речь про пострадавшие информационники.

Из новых приколов: Одна из моих справочных статей висела в топе более 10 лет по достаточно жирному запросу, т.к. всегда правилась до актуального состояния и была без преувеличения одной из лучших, если не самой лучшей не только в рунете. Теперь в выдаче ее нет вообще, а в топе висит ее автоперевод чужого перевода на английский. С моими картинками с моими водяными знаками и ссылкой на первоисточник. Сайт менее трастовый по сравнению с моим.