Все боты идут исключительно на главную. А без CF как то можно организовать условие IP-Страница входа-Блок?
Это я про CF писал.
Запросто
Получается ботов из прямых заходов сам Яндекс нагоняет, чтобы потом сайты в РСЯ за ботов блокировать?
Вы тоже из культа - НИ НА ЧТО НИ ВЛИЯЕТ?
Второй год наблюдаю за своими сайтами, у которых есть боты, но ничего не предпринимаю.Если анализировать в разрезе всего времени, то:
1. Сайт на котором вообще ничего не делаю: ни плюсов, ни минусов. Все на том же уровне. Показатели отказов увеличились на 2%. Ничего существенного.
Но сайт перед этим существенно проработан: фотки, статьи, структура, описания и т.д.2. Сайт, который постоянно наполняется, но ничего с ботами не делалось. Прут как и у всех: соц.сети, прямые, с сайтов, с рекламы:ничего существенного не произошло с сайтом. Показатель отказов увеличился с 9% до 13%. С позициями ничего не произошло, за исключением качелей от Яндекса, скорее всего, однорукого бандита крутят и временно замещают выдачу "новорегами", но эти качели были и раньше, когда так активно боты не гуляли по сайтам.
3. Есть пачка сайтов и мой хобби, на которые и траф, и боты месяц к месяцу растут. Внедрил защиту, посмотрю на эффект. Но до этого - только рост. Возможно, негатив от ботов перекрывался позитивом отработок на сайтах.У всех сайтов показатель отказов вырос примерно на 1-5%.
Но, повторюсь, прямо обвалов позиций из-за ботов - не было замечено, больше качели из-за апов Яндекса, которые, возможно, принимают за влияние ботов. Либо я принимаю влияние ботов за качели от Яндекса ;)
На сайтах где у вас идут боты, какой это процент от общего числа визитов? У меня на некоторых сайтах прямых заходов было больше, чем по всем другим каналам вместе взятым. При этом время на сайте 23-25 сек.
Полностью лучше не блокировать, там 45 тыс IP.
Посмотрите на какие страницы идут боты с этой сетке, лучше тогда блокируйте с условием AS Num and URI contains (часть вашего url куда идут боты).
С 29-го марта резко выросла роботность на сайте (было 6% в среднем, стало около 20% в среднем и до 50-60% в отдельные часы). Причем, это не закладочный трафик, а фиксируются переходы с конкретных сайтов, в основном с длительностью 15 сек.
Все переходы идут только на главную страницу. Если в предыдущие пару дней такой наплыв всегда начинался в 18.00 и заканчивался в 24.00, то сегодня прут с восьми утра, метрика фиксирует ботность 60% и выше, чего раньше никогда не было.
Собственно вопрос: чего с этим делать и можно ли чего-то сделать своими силами, без установки всяких антиботов? Можно ли как-то через htaccess временно заблокировать переходы на главную по URL сайта-источника перехода? То есть сделать запрет доступа на главную с конкретных сайтов.
С конкретных сайтов возможно, но бесполезно, т.к они подменяют сайт в запросе и сайтов могут быть тясячи, замучаетесь банить.
Через CF думаю возможно по вхождению доменной зоны в запрос их определять и на проверку пускать.
А не думали что это боты CloudFlare?
Помимо Битерики в бан можно еще:
AS25159 SONICDUO-AS, по этой сетке точно погорячился, тут оказывается больше 4000 IP.
Сегодня боты поперли с этой сетки - AS208677 SBERCLOUD-AS, там походу какие то крутые прокси, т.к много проходит через Managed Challenge.
Правильно понимаю, что в текущее первое правило Allow white bot можно просто добавить строку с двумя этими AS Num?
Спрашивал кажется в другом топике, но не получил ответа.
Можно как-то переносить правила в CF с одного сайта на другой?
Или только набивать для каждой площадки по новой?
