юни#: Вообще-то я Вам изнутри кухню объясняю. Со стороны провайдеров, со стороны владельцев прокси-сервисов, со стороны их клиентов. Как оно всё работает и какие требования к этой работе предъявляются.
юни#: Бот ходит через прокси один раз, после этого ip уходит в общий пул и выдаётся провайдером обычному пользователю.
А на скриншоте ip ушел обычному пользователю, и сейчас он уходит обычному пользователю, ну и ботам "один раз" до кучи :D Ну уходит и уходит... Вас там на кухне ждут ;)
Почему вы решили что антибот всем показывает капчу? Ну поставьте себе этот антибот на 10 пробных дней и опробуйте его работу. Там все настраивается и перенастраивается как пожелаете.
Потому, что его тестировали не на уровне рядового вебмастера, а с применением всех возможных подходов, со всех возможных устройств и т.д. - чтобы собрать белый лист - он всем показывает капчу. Принцип его работы абсолютно такой же, какой у CF. И уровень качества фильтрации трафика - абсолютно такой же. Только у CF БД с белыми и черными листами на порядки шире, а мощности и компетенции разработчиков - на голову выше компетенции частного программиста.
Еще раз: ни CF, ни антиботы - НЕ ЗАЩИЩАЮТ сайт от поведенческих ботов, прущих тоннами из ПС.
and2005#: Не могли бы пояснить, в каком направлении после CF надо еще фильтровать?
Если сами будете прописывать, то CF и не нужен будет. Но все сводится к индивидуальным настройкам сценариев, т.е., CF, в принципе, худо-бедно решает проблему с прямыми ботами, а вот с ПС - тут уже глубоко копать.
Вот в топике есть кое-какие мысли на этот счет. Но, повторюсь, там работы очень много и она довольно дорогая ;)
1. Снимаете логи посещений своего сайта. 2. Сортируете их и смотрите на какие страницы чаще всего идут боты, с каких IP / ASN, в какое время. 3. Зная информацию выше:
а) Если используете CF: настраиваете в CF правила фильтрации трафика, подставляя точечно этим сеткам капчу. б) Если не используете CF: собираете диапазоны с бототрафом, явные сетки баните в .htaccess (битерики, селектелы и т.д.), скомпрометировавшим себя IP подставляете капчу, либо на страницах, на какие чаще всего идут эти диапазоны - подставляете отложенную загрузку метрики. в) Настроить правила php, по которым будет осуществляться фильтрация трафика (наймите программиста - это не дорого).
Но, скажу так, с CF проще настроить, руками - дольше, но эффективность что там, что там - одинаковая. Защититься можно будет только от прямого бототрафа. От ботов, которые идут из ПС по ключевикам и т.д. - нет "легкой" защиты. Все эти антиботы, какие Вам будут пхать в приват - они защищают на уровне настроек CF.
Серьезных ботов банить только командой и индивидуально, настраивая рубежи обороны. Это дорого и не по карману рядовым вебмастерам с личными бложиками (как у меня).
SergejF#: Инкубационное яйцо попало под санкции и у нас образовался недостаток несушек. с девятимесячным лагом.
Недостаток несушек вышел из-за птичьего гриппа + большой бизнес способствовал тотальному уничтожению здоровой птицы у частников. А яиц своих хватало. Просто хотели навариться, но не получилось ;) Это вот результат картельного сговора, с неучтенными факторами в планировании вывода ситуации на нужные обороты и цену.
Я провел исследование в цифрах. Вывод такой: 1. Девальвация рубля, вызванная действиями ЦБРФ, спровоцировала отток мигрантов из РФ, в следствие чего, рынок труда испытал (и сейчас испытывает) кадровый голод низкоквалифицированных кадров (готовых работать "за еду"), в следствие чего, образовался дефицит обслуживающего звена. 2. Из-за искусственно созданного дефицита обсуждаемой продукции (мясо птицы и яйца) перед новогодними праздниками, на фоне падежа поголовья птицы (птичий грипп) и усиления давления группой комбинатов на частные птицефермы (кому интересно, почитайте как большой бизнес давит на частные мелкие фабрики и фермы) - получили рост цен на эту продукцию. 3. На фоне пункта 1. увеличилась цена на вакцины и пищевые добавки в корма, что еще добавило к цене на обсуждаемую продукцию.
В итоге: цена сейчас снижается, но она не опустится до прежней. Цена снижается за счет импорта обсуждаемой продукции, так как тотально заместить импорт, нарастив производство продукции своими силами - не получается из-за просчета в выстраивании стратегии развития этой продуктовой отрасли.
Вот так: хотели задавить частников и навариться на своих гражданах, а разорвали себе задницу, что аж пришлось президенту оправдываться... Уроды ;)))
maxim0905#: Информация к размышлению. Вчера, после того, как заблокировал всю AS#35048 (BITERIKA-AS - Biterika Group LLC) и выключил ipv6, наблюдаю следующий результат:
Они скоро пойдут со всяких Ростелекомов, Мегафонов и т.д. Все с мобильных, так что, паттерн на моб устройства, а там уже как можете, так и отбивайтесь от них.
Вообще-то я Вам изнутри кухню объясняю. Со стороны провайдеров, со стороны владельцев прокси-сервисов, со стороны их клиентов. Как оно всё работает и какие требования к этой работе предъявляются.
Бот ходит через прокси один раз, после этого ip уходит в общий пул и выдаётся провайдером обычному пользователю.
А на скриншоте ip ушел обычному пользователю, и сейчас он уходит обычному пользователю, ну и ботам "один раз" до кучи :D
Ну уходит и уходит...
Вас там на кухне ждут ;)
Бот ходит через прокси один раз, после этого ip уходит в общий пул и выдаётся провайдером обычному пользователю.
Нет.
Не всегда.
Чаще нет, чем да.
Но продолжайте думать иначе, мне все равно.
Почему вы решили что антибот всем показывает капчу? Ну поставьте себе этот антибот на 10 пробных дней и опробуйте его работу. Там все настраивается и перенастраивается как пожелаете.
Потому, что его тестировали не на уровне рядового вебмастера, а с применением всех возможных подходов, со всех возможных устройств и т.д. - чтобы собрать белый лист - он всем показывает капчу.
Принцип его работы абсолютно такой же, какой у CF.
И уровень качества фильтрации трафика - абсолютно такой же. Только у CF БД с белыми и черными листами на порядки шире, а мощности и компетенции разработчиков - на голову выше компетенции частного программиста.
Еще раз: ни CF, ни антиботы - НЕ ЗАЩИЩАЮТ сайт от поведенческих ботов, прущих тоннами из ПС.
Не могли бы пояснить, в каком направлении после CF надо еще фильтровать?
Если сами будете прописывать, то CF и не нужен будет.
Но все сводится к индивидуальным настройкам сценариев, т.е., CF, в принципе, худо-бедно решает проблему с прямыми ботами, а вот с ПС - тут уже глубоко копать.
Вот в топике есть кое-какие мысли на этот счет. Но, повторюсь, там работы очень много и она довольно дорогая ;)
нет единой инструкции как бороться с ботами
1. Снимаете логи посещений своего сайта.
2. Сортируете их и смотрите на какие страницы чаще всего идут боты, с каких IP / ASN, в какое время.
3. Зная информацию выше:
а) Если используете CF: настраиваете в CF правила фильтрации трафика, подставляя точечно этим сеткам капчу.
б) Если не используете CF: собираете диапазоны с бототрафом, явные сетки баните в .htaccess (битерики, селектелы и т.д.), скомпрометировавшим себя IP подставляете капчу, либо на страницах, на какие чаще всего идут эти диапазоны - подставляете отложенную загрузку метрики.
в) Настроить правила php, по которым будет осуществляться фильтрация трафика (наймите программиста - это не дорого).
Но, скажу так, с CF проще настроить, руками - дольше, но эффективность что там, что там - одинаковая. Защититься можно будет только от прямого бототрафа.
От ботов, которые идут из ПС по ключевикам и т.д. - нет "легкой" защиты.
Все эти антиботы, какие Вам будут пхать в приват - они защищают на уровне настроек CF.
Серьезных ботов банить только командой и индивидуально, настраивая рубежи обороны. Это дорого и не по карману рядовым вебмастерам с личными бложиками (как у меня).
В вмериках тоже яйца подрожали. Санкции?
Инфляция.
Там идет нехилый такой кризис экономический.
Инкубационное яйцо попало под санкции и у нас образовался недостаток несушек. с девятимесячным лагом.
Недостаток несушек вышел из-за птичьего гриппа + большой бизнес способствовал тотальному уничтожению здоровой птицы у частников.
А яиц своих хватало.
Просто хотели навариться, но не получилось ;) Это вот результат картельного сговора, с неучтенными факторами в планировании вывода ситуации на нужные обороты и цену.
Птицефабрики у нас частные, правительство им должно инкубатории строить, родительские стада создавать?
В том-то и дело, давят нещадно частников ;)
Ну какой же Вы жмот, Александр?
Я провел исследование в цифрах.
Вывод такой:
1. Девальвация рубля, вызванная действиями ЦБРФ, спровоцировала отток мигрантов из РФ, в следствие чего, рынок труда испытал (и сейчас испытывает) кадровый голод низкоквалифицированных кадров (готовых работать "за еду"), в следствие чего, образовался дефицит обслуживающего звена.
2. Из-за искусственно созданного дефицита обсуждаемой продукции (мясо птицы и яйца) перед новогодними праздниками, на фоне падежа поголовья птицы (птичий грипп) и усиления давления группой комбинатов на частные птицефермы (кому интересно, почитайте как большой бизнес давит на частные мелкие фабрики и фермы) - получили рост цен на эту продукцию.
3. На фоне пункта 1. увеличилась цена на вакцины и пищевые добавки в корма, что еще добавило к цене на обсуждаемую продукцию.
В итоге: цена сейчас снижается, но она не опустится до прежней.
Цена снижается за счет импорта обсуждаемой продукции, так как тотально заместить импорт, нарастив производство продукции своими силами - не получается из-за просчета в выстраивании стратегии развития этой продуктовой отрасли.
Вот так: хотели задавить частников и навариться на своих гражданах, а разорвали себе задницу, что аж пришлось президенту оправдываться...
Уроды ;)))
Информация к размышлению. Вчера, после того, как заблокировал всю AS#35048 (BITERIKA-AS - Biterika Group LLC) и выключил ipv6, наблюдаю следующий результат:
Они скоро пойдут со всяких Ростелекомов, Мегафонов и т.д.
Все с мобильных, так что, паттерн на моб устройства, а там уже как можете, так и отбивайтесь от них.