Потому, что я работаю над сайтами.Вопрос же стоял какой? Что будет - если ничего с ними не делать.Вот, пока ничего на данных сайтах с ботами не делается. Причем, на одном сайте не делается ничего с ботами с 2019 года - и никаких просадок нет. Все по сезонам. Там классические перекосы, когда бототрафа больше, чем основного.
Это понятно, что если ничего с сайтом не делать, то он и без ботов опустится вниз.
Вопрос стоял, влияют ли боты на трафик и позиции. Например сайт был в топе и после появления ботов, стал опускаться вниз (хотя контент обновлялся регулярно). После того как ботов пофиксил, позиции пошли в рост и трафик тоже, причем такая история по всем сайтам где были боты. На апдейт Яндекса не похоже.
Сильно выросли позиции даже у сайта по которому давно ничего не делал и трафика с поиска практически не было, так вот он опять стал в топ 10 вылезать.
У вас на сайтах где стоит CF, какой процент ботов (которые через прямые заходы) вычистило?
Если брать самый молодой сайт, с развитием которого стали валить боты, и я ничего не делаю с ними, но активно наполняю качественным контентом, приносящим реальные конверсии, несмотря на то, что по отказам видно где боты, а где реальный траф, то бототраф размыт в жалкие 10%.Показатель отказов вырос, время на сайте снизилось на 9 секунд, глубина 1.2-1.4 - так и держится.
Второй скрин: сайт, на котором вообще ничего не делаю с 2019 года (собственно, когда и пошли массово боты у всех). Ему вообще плевать на все.Сезонный (осень-зима). Узкая тематика. Стабильно приносит конверсии. Годами нужные ключи в топе. Ботолавины на эти страницы ничего не сделали (на графиках все видно).
Что кстати про AS24940 HETZNER-AS?
На какие то сайты очень много ботов с него идут, те которые проходят обязательно еще какие то конверсии делают. Но там почти 500 тыс IP.
Много ли провайдеров его используют в РФ?
Все боты идут исключительно на главную. А без CF как то можно организовать условие IP-Страница входа-Блок?
Это я про CF писал.
Запросто
Получается ботов из прямых заходов сам Яндекс нагоняет, чтобы потом сайты в РСЯ за ботов блокировать?
Вы тоже из культа - НИ НА ЧТО НИ ВЛИЯЕТ?
Второй год наблюдаю за своими сайтами, у которых есть боты, но ничего не предпринимаю.Если анализировать в разрезе всего времени, то:
1. Сайт на котором вообще ничего не делаю: ни плюсов, ни минусов. Все на том же уровне. Показатели отказов увеличились на 2%. Ничего существенного.
Но сайт перед этим существенно проработан: фотки, статьи, структура, описания и т.д.2. Сайт, который постоянно наполняется, но ничего с ботами не делалось. Прут как и у всех: соц.сети, прямые, с сайтов, с рекламы:ничего существенного не произошло с сайтом. Показатель отказов увеличился с 9% до 13%. С позициями ничего не произошло, за исключением качелей от Яндекса, скорее всего, однорукого бандита крутят и временно замещают выдачу "новорегами", но эти качели были и раньше, когда так активно боты не гуляли по сайтам.
3. Есть пачка сайтов и мой хобби, на которые и траф, и боты месяц к месяцу растут. Внедрил защиту, посмотрю на эффект. Но до этого - только рост. Возможно, негатив от ботов перекрывался позитивом отработок на сайтах.У всех сайтов показатель отказов вырос примерно на 1-5%.
Но, повторюсь, прямо обвалов позиций из-за ботов - не было замечено, больше качели из-за апов Яндекса, которые, возможно, принимают за влияние ботов. Либо я принимаю влияние ботов за качели от Яндекса ;)
На сайтах где у вас идут боты, какой это процент от общего числа визитов? У меня на некоторых сайтах прямых заходов было больше, чем по всем другим каналам вместе взятым. При этом время на сайте 23-25 сек.
Полностью лучше не блокировать, там 45 тыс IP.
Посмотрите на какие страницы идут боты с этой сетке, лучше тогда блокируйте с условием AS Num and URI contains (часть вашего url куда идут боты).
С 29-го марта резко выросла роботность на сайте (было 6% в среднем, стало около 20% в среднем и до 50-60% в отдельные часы). Причем, это не закладочный трафик, а фиксируются переходы с конкретных сайтов, в основном с длительностью 15 сек.
Все переходы идут только на главную страницу. Если в предыдущие пару дней такой наплыв всегда начинался в 18.00 и заканчивался в 24.00, то сегодня прут с восьми утра, метрика фиксирует ботность 60% и выше, чего раньше никогда не было.
Собственно вопрос: чего с этим делать и можно ли чего-то сделать своими силами, без установки всяких антиботов? Можно ли как-то через htaccess временно заблокировать переходы на главную по URL сайта-источника перехода? То есть сделать запрет доступа на главную с конкретных сайтов.
С конкретных сайтов возможно, но бесполезно, т.к они подменяют сайт в запросе и сайтов могут быть тясячи, замучаетесь банить.
Через CF думаю возможно по вхождению доменной зоны в запрос их определять и на проверку пускать.
А не думали что это боты CloudFlare?
Помимо Битерики в бан можно еще:
AS25159 SONICDUO-AS, по этой сетке точно погорячился, тут оказывается больше 4000 IP.
Сегодня боты поперли с этой сетки - AS208677 SBERCLOUD-AS, там походу какие то крутые прокси, т.к много проходит через Managed Challenge.
