Здравствуйте. Напишите, пожалуйста, по этому вопросу ребятам из Вебмастера напрямую на этой странице. Это необходимо, чтобы подтвердить ваши права на управление сайтом и скорее разобраться в вопросе.
Отправьте, пожалуйста, адрес этого сайта через форму Пожаловаться на спам или вирусы — команда всё проверит и примет меры.
Добрый день представители Яндекса!
На один из сайтов идет большой поток ботов из поиска Яндекса. Идут на определенные инфо страницы из блога.
Ботов можно определить по кривым запросам, слишком высокому CTR и слишком большому трафику с этих ключей, т.к трафик только на моем сайте схож с показателями вордстата.
90% такого бото-трафика в метрике определяются как обычные пользователи. По отношению к другим источникам доля такого трафика доходит до 50%.
Через cloudflare поставил капчу на такие страницы, 2/3 такого трафика стало отфильтровываться. Но общая видимость сайта стала падать, т.к боты идут по сотням и тысячам разных-кривых ключей. И позиции сайта тоже.
Что делать в данной ситуации?
Стоит ли фильтровать ПФ ботов из поиска?
Как Яндекс воспринимает когда ПФ бот из поисковый выдачи не смог попасть на сайт?
он так и так это делает, при нагуле профиля.
Качпу поставить из поска гугла и яндекса
Тоже сомнительный способ, т.к для ПС это же не боты а обычные пользователи. Может быть будет оцениваться так же как и не рабочий сайт.
У ботов же скорее всего сценарий, что в случае не прохода капчи, он идет обратно в выдачу и кликает по другим сайтам.
Обычно боты из мобильных операторов ходят на одинаковые URL. Можно проанализировать логи и если сайт допустим региональный, то заблокать лишние сети. Без самого сайта и логов больше ничего не могу сказать, думаю и другие ничего не скажут.
Сами же создавали, здесь 😉
Да, верно. Но там больше про AS сети обсуждалось и прокси. Сейчас я пришел к выводу, что только по сетям определить-блокировать ботов не возможно.
Возможно в этой теме кто нибудь полезные идеи предложит.
А вообще про количество бототрафика из ПС можно хоть отдельную тему создавать, я не ожидал, что все настолько плохо.
Вот как пример один инфо запрос, который начали крутить в тематике моего сайта. К сезонности и прочим факторам отношения не имеет.
Сравнивайте по стране к примеру. Если прям ничего нет общего, попробуйте найти специалиста, который найдет общие или смиритесь.Сетки не сложно блокировать, главное понимать какие они, обычно к ним относятся облако или хостинги, реальных там пользователей 1% (кто с VPN).
95% Россия, сетки анализировал, половина хостинги и мобильные операторы.
Тут главное, то, что многие на этом форуме скорее всего не в курсе, что половину органического трафика делают боты. По крайней мере на коммерческих сайтах, где есть информационные статьи.
Смотрите логи сайта / сделайте логирование оставшихся переходов с ПС через клауд и смотрите что общего, блокируйте.
А что здесь обсуждать, блокируйте через Cloudflare и все. Security - Waf - Create Rule...
По какому принципу блокировать? Как вы отличите бота от человека?
Много раз обсуждались боты из прямых заходов, с реферальным спамом (которые как реклама подгружаются), а про ботов переходящих из поисковой выдачи я тем не видел.
Тут многие уверены, что ботов из ПС не бывает. Сам раньше не анализировал ключи и страницы входа, думал что все, что из ПС - юзеры, а тут оказывается под 70% трафика - боты...
Но самое интересное тут другое, что накачивая ваш сайт "мусорными запросами" на информационные страницы, они сильно урезают трафик по коммерческим запросам. Вот это бы хотелось обсудить.
