- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А что мешает парсеру подделать реферер? Что мешает парсеру подделать абсолютно все заголовки который передает браузер? Реальный выход это капча,
А что мешает парсеру подключить какую-нить "антик@пчу"? ;) (форумный цензор, блин)
Капча - средство против людей, а не против роботов. И демонстрация беспомощности/лени/тупости/пофигизма/нещебродства/етс разработчиков и/или владельцев.
А что мешает парсеру подделать реферер? Что мешает парсеру подделать абсолютно все заголовки который передает браузер? Реальный выход это капча, если речь идет именно о парсере, надеюсь ТС правильно выразился. Антилич и реферер это немного другая ситуация от прямых ссылок на содержимое но не от парсера.
Сделал проверку по условию, если пришли по нужной ссылке то даем нормальный файл.
Если пришли скачать напрямую то даем другой файл шаблон, при этом ия файла будет настоящее а начинка другая.
под каждую ссылку, при этом структура на месте боты могут бегать без проблем.
Капча тоже не проблема(любая - в том числе новая рекапча с картинками). Вы защищаетесь от ленивых только.
Более или менее защита вещь недешевая и возможно потребует внутренней организации, которая противоречит юзабилити. Речь идет об отслеживании модели поведения курсора мыши. Без яваскрипта вообще не пускать.
В этом случае написание парсера значительно усложняется.
Из ленивых способов еще могу подкинуть идеи:
1. Можно отслеживать откуда запрос - если с каких то ДЦ - отсекать.
2. Лимит на кол-во скачиваний с одного айпи
3. Отсеивание не анонимных прокси
4. Отсеивание неугодных стран
5. Капчи (рекапча2 с картинками - не все еще под нее подстроились, а также капча с чекбоксом)