Я по другую сторону баррикад - зачем я вам буду рассказывать, как защититься от моих парсеров? ))) я за последние 3 месяца написал порядка 30 парсеров разных сайтов. Правда я не ломаю сайты и не использую закрытые данные, так что вашему сойту с моей стороны ничего не угрожает. Но из тог что я умею - ав никак не защититесь, если я поставлю целью заьрать все с вашего сайта. Регистрация, скрытые поля, JS-scripts - все это семечки))) Мой бот маскируется под пользователя, использует все нужные куки и заголовки, чтобы любой ваш детектор распознал его как обычного посетителя. Умеет входить как авторизированный пользователь. Умеет кликать на нужные кнопки - принять куки, подтвердить что не бот))) С капчей сложнее но и она обходится через сервисы. Даже и не знаю что реально поможет))) Некоторые советуют прятать инфу в shadowDome, но и это обходится, хотя если стандартный бот не предусматривает обход - не спарсит. Ну пока разрабы не поймут в чем дело)
Ценная информация. Я предполагал, что боты многое умеют, но полного описания в интернете не находил. Как говорится, нужно знать от чего защищаться. (Хотя, кажется вариантов мало для защиты, если это целенаправленно делается)
1) А если бот прошел авторизацию, то он может в закрытой зоне добавлять записи? Это же предполагает индивидуальную настройку бота?
2) Сессии также передает? Как обычный браузер?
3) Про капчи: как писал раньше, то мои 3 капчи успешно проходились ботом (сравнение рисунков, текст на рисунке, математическое задание на рисунке). Это идет их сканирование написанной программой или подключают другие сервисы по распознаванию капчи (автоматом или человек распознает)? Сколько вообще секунд идет на разгадывание такой капчи?
4) Может ли нехороший человек сделать на своем сайте такую же форму для расчета, а данные отправлять на мой исполняющий файл для получения результата на свой сайт (с прохождением капчи)?
Спасибо
Если немного заморочится - то даже верификацию я напишу автоматическую, хочешь через почту. хочешь через смс...
Здравствуйте. Интересно услышать Ваше мнение о защите данных (в других ветках видел посты на эту тему).
Если "дешево и сердито", то какую лучше проверку / защиту использовать для отправки формы.
А какой есть вариант для защиты от регистрации ботами? (кроме смс на телефон и тому подобное)
Наверное нужно делать подтверждение регистрации с отправкой на имейл?
Ну если бот не будет дождаться наступления этого момента, то норм.
Но не будет ли.. (если и правда такой умный бот, что загружает форму. Но это вряд ли, судя по его скорострельности)
Хотел спросить Вашего совета.
Сегодня есть запросы с одного ай пи (много запросов с самого утра) - человек на сайте не проводит столько времени.
Обращения только к: 1) nonce.php (в нем происходит генерация числа и отдается для вставки в форму через JS); 2) index_js.php (файл принимает данные пост запроса, проверяет и выдает результат).
Обращения к html файлу нет, как при заходе обычного пользователя.
Я правильно понимаю, что если этот скрипт настраивается человеком и обращается прямо к php файлам, то никакой защиты от этого нет? Он просто передает корректные данный пост запросом на управляющий файл и получает результат минуя страницы сайта.
В таком случает доступ к расчетам только после регистрации может помочь?
Кстати, раньше когда расчеты были с перезагрузкой страницы и этот бот обращался к странице html, то по статистике среднее время пользователей на сайте было меньше. Теперь получается что бот заходит на php файлы, где нет гугл аналитики.
А вот выше ты как раз и реализовал одну из таких ловушек :) Т.е. подрузка данных по таймауту/событию.
Но ещё в общих чертах самые очевидные - изменение DOM по событию, определение наличия мыши/тапа и тп.
Спасибо за советы. Посмотрю что будет.
Здесь просто не известно какой код он получает со страницы. Если изначальный, то там сразу нет кода nonce, а подгружается после загрузки страницы через JS. Конечно можно сразу напрямую обратиться к файлу php, который генерирует этот код и записывает в сессию, а потом уже отправлять форму с этим кодом.
Посмотрю как будет. Этот же nonce можно и не в форме разместить, а где-то отдельно на странице. В JS потом идет обращение по id и добавить к отправляемым данным.
Что это такое? Можно какой-то пример?
Промежуточные итоги, если кому-то интересно.
Кратко в чем суть:
1) есть сайт на котором есть форма расчета (в ней основном выпадающие списки и нет input, textarea); html страница берется из кэша; расчет производится без перезагрузки страницы (отправка и получение через JS fetch() и другие).
2) Проблема: к одной странице постоянные обращение и получение расчетов с нескольких ай пи с периодичностью 30-60 сек на протяжении почти всех суток. Не известно или просто бот или парсинг результатов расчетов для другого сайта (если бот, то зачем разгадывает капчу). Этот бот почти 100% проходил капчи: а) сравнение рисунков; б) ввести текст со сгенерированной картинки; в) решить математический пример на сгенерированной картинке типа 3*3=? 1*?=11 и другие.
А в соседней ветке доказывают, что бот кнопку отправки не может найти на странице. Все они могут, а если целенаправленно, то неизвестно где предел.
Решил попробовать использовать вот этот совет.
В итоге сегодня утром запустил сайт с такими изменениями:
1) Использовал Nonce в форме (так как странице берется из кэша, то код вставлялся с помощью JS который получал из PHP файла)
2) При нажатии на кнопку отправки, данные отправляются с помощью JS и появляется еще урезанный вариант капчи - просто кнопка "Подтвердить отправку" без никаких вводов кода
3) После этого в PHP файл проходят проверки и формирование результата (результат в виде html, но теперь засунул его в оболочку json и уже JS вставляет результат на сайт), а также формируется новый Nonce
Результат пока неясный. С тех ай пи, с которых были заходы пока идут на удаленные файлы (captcha.php, index_js.php). Посмотрю что дальше будет. Если это целенаправленно делается кем-то, то наверное нужно алгоритм перестраивать, если типа браузерный бот, который действует как человек и будет переходить по кнопкам отправки, то наверное ничего не сделаешь.
Спасибо за участие в обсуждении.
Какой-то же способ должен быть? Cloudflare?
Да, на 1 страницу одной языковой версии.
Только сейчас дошло что нужно посмотреть а что он вообще передает в форме (параметры по умолчанию или другие значения).
Как Вы думаете, а если доступ к расчетам после регистрации сделать, то это остановит ботов или они и такое умеют - зарегистрироваться на сайте, войти в аккаунт и дальше продолжать?
