правило надо в WAF пихать)что-то вроде ip.src in {::/0} then капчу
ясно) вы через API отключили?
Пытаюсь создать правила в CF против поведенческих ботов.. но на форумах противоречивые мнения. Вот например есть такое:
к сожалению , по большей степени , все блокировки ботов ведут к одному - блокировке обычных юзеров. Если боты никак не вредят , то лучше их не банить . Я хз канеш, лет 5 пытался с ними бороться , а получалось только хуже и хуже по итогу. Забил . Цифры метрики не пугают . Нагрузки на сервер нет .
Какие последние тренды? Боремся или нет? ) У кого какой опыт?
Из того что я прочитал, про то сколько усилий и времени на этой уходит.. то получается что-то вроде второй работы. Нужно постоянно отслеживать и обновлять правила. Это если CF еще будет живой..
таких пользователей, которые ходят только по ipv6, и если сайт не поддерживает ipv6, то на него не попасть - единицы, если не ноль)возможно есть какие-то выигрыши для пользователя в скоростях, но это не точнолично я отключил ipv6 на CF
спасибо большое, начну с этого ) А может быть более лайтовое правило сделать, напр капчу? если уж такие пользователи вдруг есть то пусть заходят.. или через API можно только off и on?
Еще совсем недавно, советы были однозначны - для начала заблочить всех с IPv6, получается сейчас все сложнее.
Я прочитал достаточно много инфы по фильтрации ботов через CloudFlare, начиная от мануала от Ивана Зимина, заканчивая разгромной статьей его стратегии от анти ддос )
Все друг другу противоречат.. может кто поделится в двух словах стратегией, на которой остановились в последнее время? Может где-то тут в топиках кто нибудь писал, или в блоге каком. Почитаю..
Тут были советы по отключению IPv6 Compatability в CF для борьбы с ботами, этот шаг по прежнему актуальный?
То есть по прежнем большинство ботов работают на IPv6 и реальные пользователи не будут отрезаны, то есть будет для них задействован IPv4?
множество реальных пользователей мобильных операторов ходит через IPv6
зря отключили полностью
по другому надо
резонный вопрос тогда, а как? )
через правило CF и не через block а скажем с капчей? или сложнее как-то?
П.С. просто тут много в топике советовал именно отключить эту опцию (IPv6 Compatability), и никаких дисскусий в топике особо не встречал..
Мануалов много разных по фильтрации ботов в интернете, они разной свежести и адекватности )
Может кто сможет кинуть ссылочку на последние наработки, или может на страницу в этом топике, где они описаны..
Начал процесс фильтрации ботов через CF, лучше поздно чем никогда )
Читаю топик, буду делать постепенно. Через API отключил поддержку IPv6.
Последние несколько страниц топика были немного о другом, поэтому уточняю.. этот шаг по прежнему актуальный?
Clean-param: placeid&monthid
Проверяйте результативность настройки в Вебмастере -> Анализ robots.txt -> Разрешены ли URL?
Спасибо большое! Проверил, добавил. Через сколько примерно яндекс выкинет из индекса дубли?
Если мне нужно для всех урл на сайте не учитывать placeid и monthid, то что в robots нужно поместить?
То есть для таких урл:
site/kitaj/mart/?placeid=kitaj&monthid=3
site/kitaj/?placeid=kitaj
site/spain/mart/?placeid= spain &monthid=3
site/spain /?placeid= spain
И так далее..
То есть пути могут быть разные, но где бы не встречался placeid или monthid их не нужно учитывать
Предположу:
User-agent: YandexClean-param: placeid /*Clean-param: monthid /*
Хотя возможно нужны звездочки для шаблонов для того чтобы учитывались вложенные пути?
User-agent: YandexClean-param: placeid /*/Clean-param: placeid /*/*/Clean-param: monthid /*/Clean-param: monthid /*/*/
В яндекс примерах просто не нашел аналогичного случая (yandex.ru/support/webmaster/robot-workings/clean-param.html)..
отдает 404, значит ничего не надо делать, ок спасибо
