Запросто
Получается ботов из прямых заходов сам Яндекс нагоняет, чтобы потом сайты в РСЯ за ботов блокировать?
Вы тоже из культа - НИ НА ЧТО НИ ВЛИЯЕТ?
Второй год наблюдаю за своими сайтами, у которых есть боты, но ничего не предпринимаю.Если анализировать в разрезе всего времени, то:
1. Сайт на котором вообще ничего не делаю: ни плюсов, ни минусов. Все на том же уровне. Показатели отказов увеличились на 2%. Ничего существенного.
Но сайт перед этим существенно проработан: фотки, статьи, структура, описания и т.д.2. Сайт, который постоянно наполняется, но ничего с ботами не делалось. Прут как и у всех: соц.сети, прямые, с сайтов, с рекламы:ничего существенного не произошло с сайтом. Показатель отказов увеличился с 9% до 13%. С позициями ничего не произошло, за исключением качелей от Яндекса, скорее всего, однорукого бандита крутят и временно замещают выдачу "новорегами", но эти качели были и раньше, когда так активно боты не гуляли по сайтам.
3. Есть пачка сайтов и мой хобби, на которые и траф, и боты месяц к месяцу растут. Внедрил защиту, посмотрю на эффект. Но до этого - только рост. Возможно, негатив от ботов перекрывался позитивом отработок на сайтах.У всех сайтов показатель отказов вырос примерно на 1-5%.
Но, повторюсь, прямо обвалов позиций из-за ботов - не было замечено, больше качели из-за апов Яндекса, которые, возможно, принимают за влияние ботов. Либо я принимаю влияние ботов за качели от Яндекса ;)
На сайтах где у вас идут боты, какой это процент от общего числа визитов? У меня на некоторых сайтах прямых заходов было больше, чем по всем другим каналам вместе взятым. При этом время на сайте 23-25 сек.
Полностью лучше не блокировать, там 45 тыс IP.
Посмотрите на какие страницы идут боты с этой сетке, лучше тогда блокируйте с условием AS Num and URI contains (часть вашего url куда идут боты).
С 29-го марта резко выросла роботность на сайте (было 6% в среднем, стало около 20% в среднем и до 50-60% в отдельные часы). Причем, это не закладочный трафик, а фиксируются переходы с конкретных сайтов, в основном с длительностью 15 сек.
Все переходы идут только на главную страницу. Если в предыдущие пару дней такой наплыв всегда начинался в 18.00 и заканчивался в 24.00, то сегодня прут с восьми утра, метрика фиксирует ботность 60% и выше, чего раньше никогда не было.
Собственно вопрос: чего с этим делать и можно ли чего-то сделать своими силами, без установки всяких антиботов? Можно ли как-то через htaccess временно заблокировать переходы на главную по URL сайта-источника перехода? То есть сделать запрет доступа на главную с конкретных сайтов.
С конкретных сайтов возможно, но бесполезно, т.к они подменяют сайт в запросе и сайтов могут быть тясячи, замучаетесь банить.
Через CF думаю возможно по вхождению доменной зоны в запрос их определять и на проверку пускать.
А не думали что это боты CloudFlare?
Помимо Битерики в бан можно еще:
AS25159 SONICDUO-AS, по этой сетке точно погорячился, тут оказывается больше 4000 IP.
Сегодня боты поперли с этой сетки - AS208677 SBERCLOUD-AS, там походу какие то крутые прокси, т.к много проходит через Managed Challenge.
Правильно понимаю, что в текущее первое правило Allow white bot можно просто добавить строку с двумя этими AS Num?
Спрашивал кажется в другом топике, но не получил ответа.
Можно как-то переносить правила в CF с одного сайта на другой?
Или только набивать для каждой площадки по новой?
да, тоже столкнулся с тем что Allow для Known bots не работает для некоторых ботов Яндекса, пришлось вручную прописать AS Num. Через Юзер агенты не стал делать как советовали выше, ибо многие подделывают его.
Вот еще кстати
