Анти БОТ#: Ну так какой-то WAF же нужно на своей стороне разместить, + считывать параметры с браузера. Правила писать вида - прямой заход - нет кукис с _ym_uid= - список исключений, в который запихивать все служебные обращения - перед этим правила с пропуском по белым спискам
Для ботов с первичным заходом поможет, но дальше... Некотррые боты могут намеренно куку хранить, а если взять парсеры которые в ручке настраивают то там намеренно могут куку нужную создать и реферер прописать. .....Максимально лайтовое решение.
Если программульки/скрипты нереально связать с API сервером для получания каких то данных/настроек или еще чего то из за своей простоты, то никак не защитишь.
Действенный вариант разделить работу скрипта на 2 части, первая это клиенская часть, он же фронтенд, вторая серверная часть, бэкенд. Клиент во время использования всегда связывается с сервером API, который постоянно проверяет токен доступа. Но если у тебя прям совсем простяцкие решения, то ничего ты не сделаешь, да и делать смысла нет.
И я прекрасно знаю технологии и ддосы отражал в свое время когда был игровой проект и игровых ботов ручками до нейронок фильтровал, так тчо защита на пхп только повод посмеяться.
Я про php вообще и не пишу, и тут как в поговорке, кто как хочет, так и дро....т. Знающий человек может написать защиту, проблема то в том что большинство не знаю, не сталкивались, не умеют. Думаешь что те кто используют DLE или WP будут себе защиту писать? Очень сильно сомневаюсь.... В лучшем случае будут искать готовые решения для копипаста, которые уже давно не работают или работают но криво, а еще страх бана нужных ботов. Я к тому что у обычного вебмастера в голово создается куча вопросов на которые сложно найти ответы не видя всю цепочку защиты и не понимая как это вообще работает, наворотить можно такого.....
Мне приходили 10к ботов в день с сингапура - это никак на сео не влияет, сайт растет в гугле и яндексе.
У каждого свои проблемы, то что тебе исходный код долбили это еще не значит что у всех так и не забывай про нагрузки на сервер. Сегодня к тебе приходят html открывая, завтра лезут через браузеры и ничего ты не сделаешь кроме как плюнуть или капчу выводить для определенной части аудитории, либо лимитку ко всем подряд применять, правильный подход это комбинированная защита, тогда у ботоводов желание пропадает. И да, сама защита строится не сложно, но если она утекает в паблик, защитой она перестает быть, ты либо делаешь индивидуальную защиту личного сервера, либо делегируешь это стороннему сервису. И не думаю что тут на серче кто то реально страдал от рук проф. доссера, зачастую ололошки балуются, но они тож создают большие проблемы.
10к это не показатель, вот когда 10млн+ в сутки, тогда уже задумаешься =)
Станислав#: Так можно по факту то дать выбор, есть JS челлендж то можно и бесплатно юзать, но вот если капча то там со воего кармана будет уже напряжненько, либо капчу свою делаеть еще до кучи, но на старте это чет прям слишком много задачь =) Поштудирую рунет на сервисы фильтрации ботов, может действительно не целесообразно пилить подобный сервис.
master32#: если даже свой IP с вдс бесплатно раздашь, то оторвут с руками, главное условие бесплатно! халява! и желательно без регистрации и смс)
С бесплатностью проблемы, если на старте я смогу запустить это все добро на дешманском облаке, то по мере набора клиентов придется увеличивать мощности, так же проблема будет с капчей, при проверки токена через JS, да, это ничего не стоит, а вот если защиту включить более серьезную с капча, то там уж полюбому придеться за нее платить =( и все это уже выйдет в копеечку и без реги тож не получится, так как нужно будет генерировать сертификаты для доменов и хранить реальный IP сервера вебмастера где нибудь в mongodb, а через node запускать оркестратор для получения сертификатов.
Мне вот интересно, если сварганить лайтовый CF, будет ли кто то пользоваться им? Сама архитектура мне впринципе понятна, только вот на разработку уйдет примерно пол года...
Анти БОТ#: Насколько помню, там есть фри лимит 10 тыс запросов в месяц на обращение к API (далее 1000 руб за каждые последующие 10 тыс). Для регистрации самое то. Ну т.е. там где пользователю надо, и он, увидев смарткапчу и чертыхнувшись, не закроет вкладку. Часто вижу на формах смарткапчу теперь вместо гугловской.
Верно, только есть ньанс, не просто 10к запросов, а 10к разгаданных капч, если к тебе на сервер постучатся 100к ботов и не смогут разгадать капчу то это будет стоит ровно 0р. По сути оплачиваешь только лигитимный трафик, а за весь мусорный шлак смарткапча ничего не берет, в 99% случаях смарткапча будет бесплатная, у меня лично оборот в месяц 500к юзеров +-, бывает доходит до 700к, но я еще ни разу лимитку не переходил.
К слову, капчу на регу ставить это прям такое себе.... для чего и зачем никогда не понимал, пугать потенциальных пользователей если только....
Единственный момент для своей ЦА я капчу не вывожу впринципе, если какой то киндер из ЦА пытается пошалить тут же срабатывает limit_req_zone, если после отработки limit_req_zone он все равно пытается упорно шалить, то fail2ban блочит его в nftables на недельку другую, но такое крайне редко бывает, за год может раза 2 наблюдал подобное.
Даже если представить что тот кто гонит на вас ботов подключив какой то сервис по разгадыванию капчи (хотя это само по себе бродово звучит =)), ну допустим это так, то его бюджет будет таять на глазах, а вы будете тратить копейки или вовсе ничего. Конечно может быть такое если захотят тупо парсить сайт на регулярной основе, то капчу всего скорее будут обходить, но это тоже крайне сомнительная затея, так как нужно тратить бюджет на API сервиса по разгадыванию капчи, проще найти проект без капчи и тянуть контент от туда, а таких полно.
Тут в теме тож писали про ddos guard, ставил, знаю, проблема в том что он может и работает, но только к теме это не относится, там защита от ддос, а не от тех ботов от которых хочется избавиться, даже если облако у них возьмете, не поможет, тестировал еще в те времена когда у них облако стоило в пределах 6-8к. Смысла вообще в сервисе этом не вижу, крайне дорого, а защита крайне сомнительная, бесплатная правильная настройка limit_req_zone и fail2ban с минимальным сроком бана любому ддосеру за щеку выдаст, ну с тем учетом что номальным дядкам, которые специализируются на досс, вы им вообще не уперлись, им мы совсем не интересны.
Вы даже не представляете насколько все просто, вот прям на коленке вся защита строится, даже будучи не далеким программистом задавая правильные вопросы какому то ИИ, той же Алисе от Яндекса, за час можно сварганить добротную защиту, все что нужно уметь это Ctrl+C и Ctrl+V, а перед этим нажать Ctrl+A и отправить вопрос с текущим кодом в ИИ, потом уже тестировать все это добро. Конечно накосячить тоже можно и даже с ИИ, я вот регулярно косячу, без этого никак.... =) с каждым косячком становишься чуточку умнее, а код становится немного правильнее.
Второе, на выходе получишь самопалный простенький аналог CF, можно сделать по уровням (проверка на js / проверка капчи с той же SmartCaptcha), юзеры давольны и ботов будет ноль. Естественно надо будет сделать так чтобы Google и Yandex боты заходили без проверки.
Ну так какой-то WAF же нужно на своей стороне разместить, + считывать параметры с браузера. Правила писать вида
- прямой заход
- нет кукис с _ym_uid=
- список исключений, в который запихивать все служебные обращения
- перед этим правила с пропуском по белым спискам
Если программульки/скрипты нереально связать с API сервером для получания каких то данных/настроек или еще чего то из за своей простоты, то никак не защитишь.
Действенный вариант разделить работу скрипта на 2 части, первая это клиенская часть, он же фронтенд, вторая серверная часть, бэкенд. Клиент во время использования всегда связывается с сервером API, который постоянно проверяет токен доступа. Но если у тебя прям совсем простяцкие решения, то ничего ты не сделаешь, да и делать смысла нет.
И я прекрасно знаю технологии и ддосы отражал в свое время когда был игровой проект и игровых ботов ручками до нейронок фильтровал, так тчо защита на пхп только повод посмеяться.
Я про php вообще и не пишу, и тут как в поговорке, кто как хочет, так и дро....т. Знающий человек может написать защиту, проблема то в том что большинство не знаю, не сталкивались, не умеют. Думаешь что те кто используют DLE или WP будут себе защиту писать? Очень сильно сомневаюсь.... В лучшем случае будут искать готовые решения для копипаста, которые уже давно не работают или работают но криво, а еще страх бана нужных ботов. Я к тому что у обычного вебмастера в голово создается куча вопросов на которые сложно найти ответы не видя всю цепочку защиты и не понимая как это вообще работает, наворотить можно такого.....
Мне приходили 10к ботов в день с сингапура - это никак на сео не влияет, сайт растет в гугле и яндексе.
У каждого свои проблемы, то что тебе исходный код долбили это еще не значит что у всех так и не забывай про нагрузки на сервер. Сегодня к тебе приходят html открывая, завтра лезут через браузеры и ничего ты не сделаешь кроме как плюнуть или капчу выводить для определенной части аудитории, либо лимитку ко всем подряд применять, правильный подход это комбинированная защита, тогда у ботоводов желание пропадает. И да, сама защита строится не сложно, но если она утекает в паблик, защитой она перестает быть, ты либо делаешь индивидуальную защиту личного сервера, либо делегируешь это стороннему сервису. И не думаю что тут на серче кто то реально страдал от рук проф. доссера, зачастую ололошки балуются, но они тож создают большие проблемы.
10к это не показатель, вот когда 10млн+ в сутки, тогда уже задумаешься =)
Так можно по факту то дать выбор, есть JS челлендж то можно и бесплатно юзать, но вот если капча то там со воего кармана будет уже напряжненько, либо капчу свою делаеть еще до кучи, но на старте это чет прям слишком много задачь =) Поштудирую рунет на сервисы фильтрации ботов, может действительно не целесообразно пилить подобный сервис.
......
если даже свой IP с вдс бесплатно раздашь, то оторвут с руками, главное условие бесплатно! халява! и желательно без регистрации и смс)
Насколько помню, там есть фри лимит 10 тыс запросов в месяц на обращение к API (далее 1000 руб за каждые последующие 10 тыс). Для регистрации самое то. Ну т.е. там где пользователю надо, и он, увидев смарткапчу и чертыхнувшись, не закроет вкладку.
Часто вижу на формах смарткапчу теперь вместо гугловской.
Верно, только есть ньанс, не просто 10к запросов, а 10к разгаданных капч, если к тебе на сервер постучатся 100к ботов и не смогут разгадать капчу то это будет стоит ровно 0р. По сути оплачиваешь только лигитимный трафик, а за весь мусорный шлак смарткапча ничего не берет, в 99% случаях смарткапча будет бесплатная, у меня лично оборот в месяц 500к юзеров +-, бывает доходит до 700к, но я еще ни разу лимитку не переходил.
К слову, капчу на регу ставить это прям такое себе.... для чего и зачем никогда не понимал, пугать потенциальных пользователей если только....
Единственный момент для своей ЦА я капчу не вывожу впринципе, если какой то киндер из ЦА пытается пошалить тут же срабатывает limit_req_zone, если после отработки limit_req_zone он все равно пытается упорно шалить, то fail2ban блочит его в nftables на недельку другую, но такое крайне редко бывает, за год может раза 2 наблюдал подобное.Даже если представить что тот кто гонит на вас ботов подключив какой то сервис по разгадыванию капчи (хотя это само по себе бродово звучит =)), ну допустим это так, то его бюджет будет таять на глазах, а вы будете тратить копейки или вовсе ничего. Конечно может быть такое если захотят тупо парсить сайт на регулярной основе, то капчу всего скорее будут обходить, но это тоже крайне сомнительная затея, так как нужно тратить бюджет на API сервиса по разгадыванию капчи, проще найти проект без капчи и тянуть контент от туда, а таких полно.
Тут в теме тож писали про ddos guard, ставил, знаю, проблема в том что он может и работает, но только к теме это не относится, там защита от ддос, а не от тех ботов от которых хочется избавиться, даже если облако у них возьмете, не поможет, тестировал еще в те времена когда у них облако стоило в пределах 6-8к. Смысла вообще в сервисе этом не вижу, крайне дорого, а защита крайне сомнительная, бесплатная правильная настройка limit_req_zone и fail2ban с минимальным сроком бана любому ддосеру за щеку выдаст, ну с тем учетом что номальным дядкам, которые специализируются на досс, вы им вообще не уперлись, им мы совсем не интересны.
Вы даже не представляете насколько все просто, вот прям на коленке вся защита строится, даже будучи не далеким программистом задавая правильные вопросы какому то ИИ, той же Алисе от Яндекса, за час можно сварганить добротную защиту, все что нужно уметь это Ctrl+C и Ctrl+V, а перед этим нажать Ctrl+A и отправить вопрос с текущим кодом в ИИ, потом уже тестировать все это добро. Конечно накосячить тоже можно и даже с ИИ, я вот регулярно косячу, без этого никак.... =) с каждым косячком становишься чуточку умнее, а код становится немного правильнее.
Своему программисту скажи чтобы почитал про:
1. Fail2ban + nftables
2. Nginx + JavaScript Proof-of-Work Challenge
Второе, на выходе получишь самопалный простенький аналог CF, можно сделать по уровням (проверка на js / проверка капчи с той же SmartCaptcha), юзеры давольны и ботов будет ноль. Естественно надо будет сделать так чтобы Google и Yandex боты заходили без проверки.
Смотрю часто чет стали писать про ботность...