Блокировка парсеров ссылок...

Зачем RIPE, whois и прочее, для большинства ботов от ПС проверка вполне может ограничиться вычислением хостнейма по айпишке.

Для пхп это функция gethostbyaddr(). У гугла хостнейм оканчивается на "googlebot.com", у яши - yandex.(ru|com), у яху - yahoo.net, у мылру - mail.ru, бинг - search.msn.com.

Найденные правильные айпишки настоящих можно сразу в локальный вайтлист заносить, чтобы второй раз не резолвить, аналогично с явно левыми ботами.

У меня такая система работает на некоторых сайтах и вполне успешно банит много левых ботов, которые прикидываются яшей и прочими гуглботами.

Хост в обратной зоне можно прописать какой угодно.

Это заметно сложнее, нежели UA подменить в запросе. Более того, это не везде возможно в принципе. Например, когда качают через прокси или с хостингов, которые не позволяют птр вбить.

Этот способ вполне работает и его рекомендуют сами поисковики. Например, яндекс: http://help.yandex.ru/webmaster/?id=1076102

mlu, проверяйте сколько вам угодно

http://webmaster.yandex.ru/spellcheck.xml?checkurl=www.allave.ru

:)

РДС и соломоно из-за 2% параноиков так заморачиваться не станут :)

Appassionato, таких сервисов много :)

Можно сделать второй запрос, разрезолвить обратную зону и проверить совпадение IP.

Яндекс сам вычислит и забанит IP за превышение количества обращений c него.

PS: Способы защиты - есть, достаточно простые и эффективные. Но выкладывать их в паблик - глупо, тк сразу придётся городить новые и сложные способы.

вы это расскажите тем кто парсит яндекс в промышленных масштабах :)

Два резолва на 1 посетителя — довольно накладно.

Ну и плюс ко всему, у одного хоста может быть несколько айпишников.

Поэтому парсеры не заморачиваются с хостами, оставляя только чистый ip.

Ну, не просто так. К примеру, лир выделил клиенту отдельный блок, а у клиента фирма называется "Йандекс LLC", с офисом якобы на Льва Толстого (или где там). Соответственно, хуизы для выделенного блока оформляются, как идентичные яндексовским (в полном соответствии с регламентом и со всеми вытекающими).

Что будем делать? Технические поля тоже можно оформить соответствующе, не сомневайтесь (это я ещё не самую серую схему предложил, не говоря о совсем чорных-пречорных).

Этак можно всю Корбину какую-нить заблочить. Не лучший вариант.

:)