Защита от парсеров

Ну а через офлайн если попробовать усложнить жизнь парсерщикам?

Например заверенный у нотариуса контент - выкладываем в сеть - время число так же регистрируем. При появлении материала - на клоне - подаем в суд, тему иска придумываете по обстоятельством в каждом конкретном случае.

Просто надо знать кто и что парсит. чем занимается сайт? ответчика найти не так уж и сложно - если сайт предоставляет услуги - то очень просто

если тупо - сапосайт - все равно есть аккаунт на той же сапе - вебмани итд итп - вывод денег

можно просто морду набить в конце концов

как бы владелец не прятался - при должном желании его всегда найти можно - а для госструктур вообще по-моему не проблема. У сайта есть домен есть хостинг есть средства монетизации и тд. Так что найти владельца только проблема времени и желания.

Например у себя вижу трафик с других сайтов которые парсят - мне это не напрягает - так как траф тематичный и мне нужный. такие парсеры даже полезны ))))

Сам по себе у меня не уникальный контент - уникальна подача материала и его структурирование. И я не хочу потратив на сайт 3 месяца работы, дать слить его какому нить уроду за 20 минут.

Из всего обсуждаемого пришли к выводу, что блокировать по IP нельзя, потому что не сможем сделать белый список, так как точно не известны IP ПС.

Но метод, описанный мной в 60 посте должен сработать по крайней мере для Яндекса или я не прав?

Вор у вора шапку украл ))) тогда мне не понятны ваши потуги -

уникальная подача материала о как!!! а я тут тружусь на клавиши жму - советовать пытаюсь.

У меня большой каталог предприятий - адресные данные априори не уникальны.

Но то что Я собрал эти предприятия в одну кучу и структурировал - мой труд. Это я и хочу защитить!

Dram, о, прикольно, сайт не покажете? :)

Задал вопрос по поводу защиты от парсеров Яндексу - вот что ответили

> Добрый день, меня очень беспокоит защита моих сайтов от парсинга.

> Долго думал как защититься, есть два пути.

>

> 1. Блокировать частые запросы по IP, включив IP роботов Яндекса в белый

> список. Можно ли узнать IP Ваших роботов?

>

> 2. Есть параметр для файла robots.txt - Crawl-delay, который указывает роботу

> Яндекса время в секундах, с какой частотой он может посещать сайт.

> Следовательно можно блокировать те IP, с которых лезут чаще этого промежутка?

>

>

> На то, что Вы дадите IP Ваших роботов я и не надеюсь, прошу подтвердить

> правильность рассуждений из п.2

>

> Заранее спасибо за понимание.

1. IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться.

Поэтому мы не разглашаем их список и не рекомендуем использовать фильтрацию на

их основе. О том, как отличить, что робот принадлежит Яндексу Вы можете

прочитать на странице нашей помощи:

http://help.yandex.ru/webmaster/?id=1076102

2. Если всё будет настроено именно так, то проблем у наших роботов возникнуть

не должно.

Значит все же правильно я предложил 2-й вариант и он прокатит?

Но как в этом случае быть в Гуглом, Рамой и Майлом?

Зашёл на ваш сайт пользователь, самый тот, для кого вы старались собирая базу, побродил, решил вернуться на 5 страниц назад, быстро кнопкой "взад" щёлк-щёлк-щёлк, а ему раз - капча. Пользователь сплюнул, выматерился в вашу сторону и пошёл обратно в Яндекс искать эту инфу на более дружелюбном сайте. Никакого вам спасибо в виде прокликивания вашего директа, а ещё яндекс вдруг смотрит, пользователь вернулся, дальше кликает - вывод, ваш сайт по данному запросу - говно. Сильная метода, ничо не скажешь..

Не утрируйте, Вы же понимаете что никакой пользователь с кнопочкой с парсером не сравниться и все можно грамотно настроить.

Как вариант создавайте несколько сайтов поддержи со схожим контентом, 2-3 сайта Яндекс допускает проверено.

Также делайте сайты с большим количеством категорий, подкатегорий, а также чтобы структура сайта на разных уровнях отличалась, также как и сам конечный html код, также сделайте ваш сайт и информацию на нем максимально динамической, это усложнит работу при создании парсера, повысит его стоимость, и скорее всего снимет вопрос о парсинге Вашего сайта.

Вы не в курсе, что есть кеш браузера и как работает кнопка "взад"?