- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Просьба знающим людям рассказать какие основные меры можно принять для того, чтобы защитить свою базу данных от парсинга.
Скорее усложнить, чем защититься.
- ограничить количество запросов с одного ИП.
- периодиически можно спрашивать капчу.
- стартовать сессию со служебной инфой и дальше главной без сессии не пускать.
- не забывать, что поисковый бот, это по сути тот же парсер.
Иногда парсеров сбивает с толку трюк с <base />
-= Serafim =-, от "умных" парсеров все-равно не убежать...
Пробуйте проверку на время просмотра и бан по ip.
dkameleon согласен, что только усложнить... +1
но вот с этим
Скорее усложнить, чем защититься.
- стартовать сессию со служебной инфой и дальше главной без сессии не пускать.
не согласен... имхо, но может принести больше вреда, чем пользы.
а трюки подобные
Скорее усложнить, чем защититься.
Иногда парсеров сбивает с толку трюк с <base />
помогают только для "случайных" парсеров... т.е. когда что-то стандартное кривыми руками затачивают под сайт.
Тут всё написано, что можно сделать:
/ru/forum/160853
/ru/forum/216380
не забывать, что поисковый бот, это по сути тот же парсер
Также есть такая проблема, так как стандартные скрипты, которые режут по запросам с одного IP могут отрезать и ботов поисковиков.
можно сделать набор равносильных версток, поисковым ботам будет все равно, а простые парсеры не сработают. простой пример
и
заморочек правда с движком для такого будет ужасно много. ну и опять же захотят все равно распарсят. только усилий надо будет больше намного
все это херня ©
извините за грубость.
лучшее средство от парсинга — выставление мощных ссылок в момент публикации контента.
neznaika, с Вами согласен полностью, просто хочется знать технические средства для сохранения свой БД.
neznaika, с Вами согласен полностью, просто хочется знать технические средства для сохранения свой БД.
Против самописного парсера заточенного под ваш сайт, мало что спасёт. Против стандартного есть варианты.
Кстати, а почему вы не закроете доступ к базе на пароль - тогда без регистрации доступа не будет. Ну а регистрацию сделать платной например + ещё несколько ограничений.
у поисковых ботов есть айпи )
от этого можно и плясать )
выдаем контент без ограничения ботам ) и с ограничениями для парсеров(люди,роботы) )
а вобще провести анализ логов
сколько кликов в минуту генерит стандартный юзер
защита по паролю тоже может не сработать ) я могу зарегаться ) получить логин пароль и использовать их в парсере, поставляя данные получая куку ) и передавая куку с каждим запросом )
з.ы. только в росии лицензионное соглашение читают 0.5 сек )
з.ы.ы вобщем разрешать не более Н-числа кликов ) в минуту если больше это парсер ) или офигевший юзер )
выдаем контент без ограничения ботам ) и с ограничениями для парсеров(люди,роботы) )
Потом нарываемся на бота-проверяльщика и схватываем бан за клоакинг. Супер совет.
p.s. у Вас правая круглая скобка запала.
Это скобка, а не смайлик, как Вам кажется.