Блокировка парсеров ссылок...

От всех не оградишься, всех не забанишь.

Хотите скрыть свои труды от лишних глаз — храните рукописи дома в сейфе :)

Да понятно, что от всех не оградишься.... - Кто сильно захочет, тот и вручную найдет.

Хотелось бы хотя бы защититься от самых очевидных.

Appassionato, эти приличные, но если сайт есть в топе по интересному запросу - у вас даже разрешение не спросят и не представятся или представятся яндексом :)

Appassionato, не совсем понятно, как теоретически можно оградиться от парсера ссылок.

Я так понимаю вопрос о скрытии ссылок на ваш проект.

Но они же располагаются на сотнях и тысячах чужих сайтах. Т.е. даже если соломоно и т.п. слушаются роботс, то они не проиндексируют только ваш сайт с вашими исходящими ссылками, а входящие с чужих сайтов всё равно будут в индексе.

1. сателлиты

2. зеркала (да, тот самый дедовский способ, который отлично маскировал YSE)

3. данные внутреннего анализа

4. сайты партнеров

ну и т.д.

---------- Добавлено в 22:50 ---------- Предыдущее сообщение было в 22:48 ----------

Теоретически можно парсить подсети обращающихся ботов. И все, что лишнее (аффилировано с парсерами) - в бан htaccess или iptables.

А как определить лишнее?

Выскажу пару предположений:

Допустим, основные подсети RDS и соломоно можно сразу в бан-лист.

Из "правильных ботов" у нас кто? - Гугл, Яндекс, контакт, ФБ, вебархив ну и еще несколько штук наберется. Их сразу в вайт-лист. Остальных при подозрении на ботоводство проверяем через RIPE на предмет владельцев подсети (если есть корреляция с подсетями вышеозначенных пауков, то в бан). Ну и т.д.

Как по мне, проблема ведь не нова.... С тем же ддосом научились бороться. С вредными пауками по идее тоже можно попробовать.

Их ведь ещё нужно найти (или найти новые, которые раньше в парсинге не фигурировали).

Здесь есть немало не очевидных моментов.

Никто не запрещает представляться обычным браузером, опять же.

User-agent - это одно, а IP-подсеть - это другое. Подсеть просто так не подделаешь. Хотя с другой стороны несколько кило прокси могут этот момент и решить.

В любом случае, RDS и соломоно - это масс-март. И, ИМХО, никто не будет ради пары процентов параноидальных веб-мастеров извращаться с IP-подсетями и проксями.

вы думаете вы один такой умный :)

приведу простой пример если сайт в топе и невидно ссылок это повод его проверить пристальнее и сеточки вычисляются на раз

если разговор о донорах то отсутствие информации просто повод добавить сайт в гбл :)