Защита от парсеров

Ну, накосячили товарищи, бывает. Главное, что ни обратная, ни прямая зоны, ни вообще практически любые технические данные - не проблема.

Вы будете верить саппорту в таких вопросах? А если это бот, проверяющий клоакинг?

Интересно, а где про это можно почитать подробнее? :)

Я не зря выше спросил про тип и объем сайта.

Тут весь вопрос защиты заключается в:

1. Объем данных (в количестве документов).

2. Тип данных.

3. Необходимость индексации ПС сайта.

4. И защиты от чего собственно, если от массовых программ - это одно, если нацелились на Ваш сайт, то это бесполезно, никто, никогда еще не смог защитить информацию которую Вы добровольно показываете законному пользователю. Поверьте, у тех кто этим специально занимается как правило гораздо больше технических, и в ряде случаев материальных и интеллектуальных ресурсов.

1. Если количество документов меньше нескольких тысяч, то это вообще не стоит обсуждения - 20 баксов и его тупо руками вытянут,по одному документу, за оплату типа месяца инета.

2. Тип данных, если картинки, сделать чтобы робот не мог их утянуть не вопрос, другое дело опять же меньше нескольких тысяч, принскринами вытянут. любой текстовый формат который показывается в браузере, без плагинов - без вариантов.

3. Если надо чтобы индексировалось, опять же не вариант, типа белые листы яндекса и etc. Опять же смешно, робот яндекса и его всякие жутко хитроумные проверялки из серии на клоакинг и т.д. это разные вещи, наткнуться и пока.

4. Ну а вариантов от массовых - найти на форуме миллион можно.

С обратной - понятно, а как прописать прямую зону чужому домену? За ней же к авторитарному DNS-серверу все запросы пойдут. Кроме спуфинга DNS на магистральном уровне ничего в голову не приходит...

В Си-бидлере есть встроенный объект IEServer, с помощью программы можно управлять IE и иметь полный доступ к его содержимому.

А про PHP<->IE читать негде, это надо думать самому креативнее и быть немного ленивым :)

На PHP я делала связку PHP(на сервере)-Proxomitron(локальный прокси на компе)-IE(на компе)

PHP посылает браузеру нужный header("Location: УРЛ_для_парсинга"), Браузер выгребает страницу, а локальный Прокси(Proxomitron) по дороге добавляет к телу страницы JavaScript, который после полной загрузки страницы на Ajax передает содержимое страницы браузера PHP-скрипту. Скрипт парсит, складывает в БД и в ответ присылает браузеру новый header("Location: УРЛ_для_парсинга"). И так по кругу

Громоздко, но надо было быстро распарсить кое-что :), и было лень ставить C-Builder, или сочинять на PHP поддержку логинов/паролей/cookie. А так - залогиненый браузер, полная поддержка cookie и javascript. Для небольшой частной задачи - вполне потянет.

Прям, вот всеми секретами приходится в паблике делиться... есть ещё два пути - не прописывать зону вообще, либо прописывать обратную зону через поддомены вида 4.3.2.1.unknown.yandex.ru, для которых не существует прямой зоны (как мне подсказывают технари).

Ну, и ещё кое-что, совсем уж не для паблика.

Кстати, у Вас большой опыт в подобных областях? Могу предложить работу.

Я тут вот о чем подумал. В панели бемастера Гугла есть графа - статистика сканирования. так вот там указано, что максимально роботы Гугла забирали с моего сайта 16 291 кб, данных.

Следовательно можно предположить что Яндекс чуть активнее и сделать например блок IP при одновременном скачивании более 30 мб.

Что думаете?

вам тут некоторые умные люди еже десять раз сказали нет защиты которую не обойти, стуканите на вора в пс и будет вам счастье

Им накакать на вора - получал нираз отписку что они типа зеркало Рунета и т.п., а с хостингом вора тоже долго разбираться - они включат тупого и все!

Я понимаю что защитится нельзя, хочу максимально усложнить им жизнь

Меня все не оставляет в покое эта тема и вот что опять пришло в голову.

Есть параметр для файла robots.txt - Crawl-delay, который указывает роботу Яндекса время в секундах, с какой частотой он может посещать Ваш сайт.

Т.е.

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды взято тут

Следовательно можно блокировать те IP, которые лезут чаще этого промежутка?

Господа, прошу высказать свои мысли по поводу предыдущего поста. Неужели это только меня беспокоит?