практически все прямые -
А на какую страницу?
Посмотрите по IP в логах какая сетка, если не большая то можно для ботов из нее заблокировать переходы с пустым реферером (прямые заходы).
Если они все на какую то внутреннею страницу идут, тогда можно еще сделать условие проверки на URL.
Да прямые заходы выросли на порядок, но ТП Яндекса уверяет, что они ни коем образом не влияют на ранжирование сайта, вот скрин
из Я.Справочника ни удаляли.
А какое соотношение с другими источниками?
Посмотрите через вебвизор с каких сетей идут прямые заходы, если есть много заходов с битерики, то значит большая часть боты.
Я для борьбы с ними поставил Cloudflare, в соседних ветках есть инструкция по настройке.
Есть "товарищи" которые как и Яндекс утверждает, что НИ НА ЧТО НЕ ВЛИЯЕТ.
Резкого роста прямых заходов не наблюдается?
Из Яндекс справочника не удаляли организацию?
Я блокировку IP6 отключил. AS в исключения тоже думаю не смысла добавлять, т.к как вы писали кто то кроме гугла так же использует их сеть.
Не думаю, что у CF могут быть проблемы с ботами гугла, т.к он стоит на огромном количестве сайтов бурже и их бы уже претензиями завалили, т.к большинство юзает платные тарифы.
Решил посмотреть логи CF после настройки по шаблону. Мне кажется или все же неправильно, что он блокирует такие запросы?
Я тоже обратил внимание, что какие то IP из этой сетки пропускаются, а какие то идут на проверку.
Вот такой визит вряд ли принадлежит ботам гугла.
Наверное у CF для ботов гугла какой то список IP есть в Known Bots .
Потому, что я работаю над сайтами.Вопрос же стоял какой? Что будет - если ничего с ними не делать.Вот, пока ничего на данных сайтах с ботами не делается. Причем, на одном сайте не делается ничего с ботами с 2019 года - и никаких просадок нет. Все по сезонам. Там классические перекосы, когда бототрафа больше, чем основного.
Это понятно, что если ничего с сайтом не делать, то он и без ботов опустится вниз.
Вопрос стоял, влияют ли боты на трафик и позиции. Например сайт был в топе и после появления ботов, стал опускаться вниз (хотя контент обновлялся регулярно). После того как ботов пофиксил, позиции пошли в рост и трафик тоже, причем такая история по всем сайтам где были боты. На апдейт Яндекса не похоже.
Сильно выросли позиции даже у сайта по которому давно ничего не делал и трафика с поиска практически не было, так вот он опять стал в топ 10 вылезать.
У вас на сайтах где стоит CF, какой процент ботов (которые через прямые заходы) вычистило?
Если брать самый молодой сайт, с развитием которого стали валить боты, и я ничего не делаю с ними, но активно наполняю качественным контентом, приносящим реальные конверсии, несмотря на то, что по отказам видно где боты, а где реальный траф, то бототраф размыт в жалкие 10%.Показатель отказов вырос, время на сайте снизилось на 9 секунд, глубина 1.2-1.4 - так и держится.
Второй скрин: сайт, на котором вообще ничего не делаю с 2019 года (собственно, когда и пошли массово боты у всех). Ему вообще плевать на все.Сезонный (осень-зима). Узкая тематика. Стабильно приносит конверсии. Годами нужные ключи в топе. Ботолавины на эти страницы ничего не сделали (на графиках все видно).
Что кстати про AS24940 HETZNER-AS?
На какие то сайты очень много ботов с него идут, те которые проходят обязательно еще какие то конверсии делают. Но там почти 500 тыс IP.
Много ли провайдеров его используют в РФ?
