- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Наверное нужно делать подтверждение регистрации с отправкой на имейл?
Имеется масса сервисов для временной почты. Автоматизировать (создать бота) можно при желании.
Имеется масса сервисов для временной почты. Автоматизировать (создать бота) можно при желании.
А какой есть вариант для защиты от регистрации ботами? (кроме смс на телефон и тому подобное)
Наверное нужно делать подтверждение регистрации с отправкой на имейл?
Если немного заморочится - то даже верификацию я напишу автоматическую, хочешь через почту. хочешь через смс...
Если немного заморочится - то даже верификацию я напишу автоматическую, хочешь через почту. хочешь через смс...
Здравствуйте. Интересно услышать Ваше мнение о защите данных (в других ветках видел посты на эту тему).
Если "дешево и сердито", то какую лучше проверку / защиту использовать для отправки формы.
Если "дешево и сердито", то какую лучше проверку / защиту использовать для отправки формы.
Я по другую сторону баррикад - зачем я вам буду рассказывать, как защититься от моих парсеров? ))) я за последние 3 месяца написал порядка 30 парсеров разных сайтов. Правда я не ломаю сайты и не использую закрытые данные, так что вашему сойту с моей стороны ничего не угрожает. Но из тог что я умею - ав никак не защититесь, если я поставлю целью заьрать все с вашего сайта. Регистрация, скрытые поля, JS-scripts - все это семечки))) Мой бот маскируется под пользователя, использует все нужные куки и заголовки, чтобы любой ваш детектор распознал его как обычного посетителя. Умеет входить как авторизированный пользователь. Умеет кликать на нужные кнопки - принять куки, подтвердить что не бот))) С капчей сложнее но и она обходится через сервисы. Даже и не знаю что реально поможет))) Некоторые советуют прятать инфу в shadowDome, но и это обходится, хотя если стандартный бот не предусматривает обход - не спарсит. Ну пока разрабы не поймут в чем дело)
Я по другую сторону баррикад - зачем я вам буду рассказывать, как защититься от моих парсеров? ))) я за последние 3 месяца написал порядка 30 парсеров разных сайтов. Правда я не ломаю сайты и не использую закрытые данные, так что вашему сойту с моей стороны ничего не угрожает. Но из тог что я умею - ав никак не защититесь, если я поставлю целью заьрать все с вашего сайта. Регистрация, скрытые поля, JS-scripts - все это семечки))) Мой бот маскируется под пользователя, использует все нужные куки и заголовки, чтобы любой ваш детектор распознал его как обычного посетителя. Умеет входить как авторизированный пользователь. Умеет кликать на нужные кнопки - принять куки, подтвердить что не бот))) С капчей сложнее но и она обходится через сервисы. Даже и не знаю что реально поможет))) Некоторые советуют прятать инфу в shadowDome, но и это обходится, хотя если стандартный бот не предусматривает обход - не спарсит. Ну пока разрабы не поймут в чем дело)
Ценная информация. Я предполагал, что боты многое умеют, но полного описания в интернете не находил. Как говорится, нужно знать от чего защищаться. (Хотя, кажется вариантов мало для защиты, если это целенаправленно делается)
1) А если бот прошел авторизацию, то он может в закрытой зоне добавлять записи? Это же предполагает индивидуальную настройку бота?
2) Сессии также передает? Как обычный браузер?
3) Про капчи: как писал раньше, то мои 3 капчи успешно проходились ботом (сравнение рисунков, текст на рисунке, математическое задание на рисунке). Это идет их сканирование написанной программой или подключают другие сервисы по распознаванию капчи (автоматом или человек распознает)? Сколько вообще секунд идет на разгадывание такой капчи?
4) Может ли нехороший человек сделать на своем сайте такую же форму для расчета, а данные отправлять на мой исполняющий файл для получения результата на свой сайт (с прохождением капчи)?
Спасибо
1) А если бот прошел авторизацию, то он может в закрытой зоне добавлять записи? Это же предполагает индивидуальную настройку бота?
Да, после настройки. На автомате не получится. Мне нужно забрать Dom, посмотреть где какие CSS селекторы и уже по ним могу заполнять поля. Selenium/Scrapy это неплохо умеют. такая настройка занимает от силы час под твой сайт. Как ни странно тут поможет неправильное формирование страницы - например одинаковые айдишники для элементов. Это затруднит парсинг но не спасет - я например тогда использую XPATH
Сессии также передает? Как обычный браузер?
Да, я при необходимости работаю с сессиями.
Про капчи: как писал раньше, то мои 3 капчи успешно проходились ботом (сравнение рисунков, текст на рисунке, математическое задание на рисунке). Это идет их сканирование написанной программой или подключают другие сервисы по распознаванию капчи (автоматом или человек распознает)? Сколько вообще секунд идет на разгадывание такой капчи?
Как я уже говорил - я такое не делаю. Но подключить апишку, которая будет отсылать капчу на сервис распознавания несложно, потом делается скрипт. который имитируег действия по ккординатам на экране - не так уже и сложно. Сколько занимает разгадывание - не знаю, думаю секунды.
Может ли нехороший человек сделать на своем сайте такую же форму для расчета, а данные отправлять на мой исполняющий файл для получения результата на свой сайт (с прохождением капчи)?
Теоретически да. Но я соменваюсь, что с этим имеет смысл заморачиваться.
По большому счету. можно заморочится и написать формирование страницы используя динамическое формирование классов для CSS селекторов, а обрабатывать их каким gulp/grunt. Тогда будет очень сложно зацепиться за жедметы на странице, даже XPATH может не помочь. Вообще чтобы бороться - нужно понимать как тебя могут парсить. Почитай что такое Selenium/Scrapy и как они работают. Тогда будет проще придумывать решение)
Думаю скоро ТС узнает о SElenium, потом о его возможностях и стелс режимах, о том что тот поддерживает все и сессии, и куки и капчу можно кликнуть)
Вам может и радостно, а мне что-то не очень.
С одного ай пи загружают форму, а другого (чем-то похож на первый) некоторое время обращение к одной странице каждую секунду (по статистике сервер через раз выдавал 429 - http код "много запросов") - 1300 запросов всего с этого ай пи. Их же заблокируй, а завтра другие будут.
2607:5300:205:300::1e14
2607:5300:61:785::
Их же заблокируй, а завтра другие будут.
Блокировать надо постоянно в автоматическом режиме, а не сегодня-завтра.