Я тоже думал что ограничу проход для прямого трафика и все станет норм, а они оказались еще умеют подстраиваться. С прямым трафиком все понятно, особенно если своего закладочного мало. А вот как их из надежно из поиска отсеивать, без блокировок подсетей, пока не понимаю.
Да, получается что можно.
Потому что в основном боты идут с IPv6
У меня боты на 95% IPv4. После фильтрации прямых заходов, они все так и продолжают ломится, что видно в статистике CF.
По поводу подмены реферера Яндекса в запросе, как то странно получается. У них наверное должны визиты сопоставляться, когда переход идет из поиска. User agent из поиска и User agent, который метрика разбирает.
И еще прогревающие боты по куче сайтов ходят, переходя из поиска, чтобы нагулять статистику, а в вашем случае сразу идут на сайт. Не понятен смысл таких переходов.
Какой блокировки и капчи? Они начинают наваливать с рефером яндекса.
Блокировки и капчи для прямых заходов. Т.е у вас на сайте после включения проверки на пустого реферера, ботовод стал слать ботов с реферером Яндекса? Я думал у них тысячи сайтов для обхода и они за каждым не следят.
Получается можно в запрос к серверу, ставить значение реферера - yandex и метрика такие визиты будет добавлять в переходы из поисковой системы Яндекс?
И не понял связи между увеличением количества ботов в источнике - поисковые системы и IPV6?
Только учитывайте что после того как закроете ботов из прямых заходов, они пойдут с refer Яндекса и будут отображаться в метрике как переход из поиска. Из всего что пробовал, пока спасало отключение IPv6, но как понимаю это тоже не совсем хорошо.
С чего вы взяли, что они куда там пойдут? Они дальше блокировки и капчки никуда не идут.
Есть пример, того, что после блокировки ботов из прямых заходов, это количество бото трафика идет на переходы из поиска?
Так же была мысль про него, но почему-то меня убедили, что он от ддос хорошо, а от ботов с прямыми заходами так себе решение, ничего не дающее.
По дефолту, он не будет отсекать ботов, даже в режиме борьбы с ботами. Нужно будет дополнительно настроить фаервал с правилами обработки. Есть инструкция на vc.ru.
Да не путайте вы Tca! -managed это действие по выбору системы - нагульные боты ее зачастую проходят потому что клауд видит что это нормальный браузер. старая капча это captcha challenge, legacy captcha и теперь Interactive Challenge после всех переимнований - вот ее и надо ставить
Кто шарит в настройках htaccess? Можно ли как-то заблокировать доступ только к главной странице сайта на Wordpress при переходе со всех других сайтов? При этом оставив доступ для поисковых роботов яндекс и гугл.
Отдельно банить сайты по списку не имеет значения похоже. Только за два дня насчитал переходы с 3500 сайтов, повторов среди них мало.
По переходам с сайтов же не только боты идут. Если через htaccess и можно будет что то сделать, то это будет блокировка, лучше поставьте CF и выдавайте таким юзерам капчу.
Brat_Sergij#: Ну и может кто в курсе, данные боты имеют поддержку Cookie и JavaScript? Хостер предложил один вариант, но он сработает только если боты не имею такой поддержки.
Да, имеют. Врубал на хостинге блокировку без Cookie и JavaScrip, ботов ни на одного ни стало меньше.
Не так давно установил cloudflare на нескольких сайтах.
Сегодня пришло уведомление от хостера:
Ошибка перевыпуска сертификата
Вопрос: нужно ли что-то делать в данном случае или сайт использует уже сертификат от cloudflare?
В настройках у меня выставлен Full(strict)
Поставьте Flexible, в таком случае cloudflare сам выпускает сертификат и на хостинге ничего делать не нужно. Ошибка будет просто как информ сообщение.
Можете поставить Full, но тогда хостер должен будет настроить со своей стороны. На Бегете по крайней мере так.
Я тоже думал что ограничу проход для прямого трафика и все станет норм, а они оказались еще умеют подстраиваться. С прямым трафиком все понятно, особенно если своего закладочного мало. А вот как их из надежно из поиска отсеивать, без блокировок подсетей, пока не понимаю.
Да, получается что можно.
Потому что в основном боты идут с IPv6
У меня боты на 95% IPv4. После фильтрации прямых заходов, они все так и продолжают ломится, что видно в статистике CF.
По поводу подмены реферера Яндекса в запросе, как то странно получается. У них наверное должны визиты сопоставляться, когда переход идет из поиска. User agent из поиска и User agent, который метрика разбирает.
И еще прогревающие боты по куче сайтов ходят, переходя из поиска, чтобы нагулять статистику, а в вашем случае сразу идут на сайт. Не понятен смысл таких переходов.
Какой блокировки и капчи? Они начинают наваливать с рефером яндекса.
Блокировки и капчи для прямых заходов. Т.е у вас на сайте после включения проверки на пустого реферера, ботовод стал слать ботов с реферером Яндекса? Я думал у них тысячи сайтов для обхода и они за каждым не следят.
Получается можно в запрос к серверу, ставить значение реферера - yandex и метрика такие визиты будет добавлять в переходы из поисковой системы Яндекс?
И не понял связи между увеличением количества ботов в источнике - поисковые системы и IPV6?
Только учитывайте что после того как закроете ботов из прямых заходов, они пойдут с refer Яндекса и будут отображаться в метрике как переход из поиска. Из всего что пробовал, пока спасало отключение IPv6, но как понимаю это тоже не совсем хорошо.
С чего вы взяли, что они куда там пойдут? Они дальше блокировки и капчки никуда не идут.
Есть пример, того, что после блокировки ботов из прямых заходов, это количество бото трафика идет на переходы из поиска?
https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov эта?
Да, эта инструкция. Только правило с ГЕО и IPV6 я не использовал.
Т.е. если три мобилы подключены на один вай-фай - кликнут по одному и тому же объявлению - будут засчитаны все три?
Или я не прав?
Так же была мысль про него, но почему-то меня убедили, что он от ддос хорошо, а от ботов с прямыми заходами так себе решение, ничего не дающее.
Всем привет!
Ситуация следующая, пошел с марта резкий всплеск ботов на сайте - http://joxi.ru/DmBMNk4S6zvMwr , как это было выявлено:
Спасибо
одним этим параметром получилось отсечь всю ботомусорную битерику
Подскажите как узнать AS Num еще этих негодяев?
Metropolitan branch of PJSC MegaFon
Metropolitan branch of OJSC MegaFon
В Cloudflare можно для каждого срабатываемого события посмотреть
Да не путайте вы Tca! -managed это действие по выбору системы - нагульные боты ее зачастую проходят потому что клауд видит что это нормальный браузер. старая капча это captcha challenge, legacy captcha и теперь Interactive Challenge после всех переимнований - вот ее и надо ставить
Я в курсе чем Interactive отличается от Managed. У них на этой странице было - https://developers.cloudflare.com/fundamentals/get-started/concepts/cloudflare-challenges/, написано, что для бесплатных тарифов включенный Interactive будем все равно работать как Managed. Мануал обновлен 6 дней назад, видимо эту сноску убрали.
Кто шарит в настройках htaccess? Можно ли как-то заблокировать доступ только к главной странице сайта на Wordpress при переходе со всех других сайтов? При этом оставив доступ для поисковых роботов яндекс и гугл.
Отдельно банить сайты по списку не имеет значения похоже. Только за два дня насчитал переходы с 3500 сайтов, повторов среди них мало.
Ну и может кто в курсе, данные боты имеют поддержку Cookie и JavaScript? Хостер предложил один вариант, но он сработает только если боты не имею такой поддержки.
Да, имеют. Врубал на хостинге блокировку без Cookie и JavaScrip, ботов ни на одного ни стало меньше.