Через RIPE принадлежность сети Яндексу определить проблем не составит.
А вот вообще загадка:
1 и 2 (логики я здесь не понимаю, вплотную)
И напоследок, другая часть текста с той же страницы
сабж---------- Добавлено в 01:00 ---------- Предыдущее сообщение было в 00:46 ----------Так же в этимологии ресурса - незначительная коррекция текстов после того, как их скопипастили. (Предложение дописали, дату изменили и т.д.)---------- Добавлено в 01:02 ---------- Предыдущее сообщение было в 01:00 ----------
У меня был ресурс с похожей проблемой - Платоны динамили. Но там копипастеров было 4 человека, и они все под давлением удалили контент.
По вторичному запросу.
Роботы ПС может и не исполнят (Гугл под вопросом), но они и браузером прикидываться не станут.
Ссылки-то видно, вопрос в их количестве :) Часть ссылок на одном зеркале, часть на другом и т.д.
Вообще, речь идет в первую очередь от трудозатратах на выяснение всех нюансов.
Про анализ ценности, как донора, речь не идет.
User-agent - это одно, а IP-подсеть - это другое. Подсеть просто так не подделаешь. Хотя с другой стороны несколько кило прокси могут этот момент и решить.
В любом случае, RDS и соломоно - это масс-март. И, ИМХО, никто не будет ради пары процентов параноидальных веб-мастеров извращаться с IP-подсетями и проксями.
Выскажу пару предположений:
Допустим, основные подсети RDS и соломоно можно сразу в бан-лист.
Из "правильных ботов" у нас кто? - Гугл, Яндекс, контакт, ФБ, вебархив ну и еще несколько штук наберется. Их сразу в вайт-лист. Остальных при подозрении на ботоводство проверяем через RIPE на предмет владельцев подсети (если есть корреляция с подсетями вышеозначенных пауков, то в бан). Ну и т.д.
Как по мне, проблема ведь не нова.... С тем же ддосом научились бороться. С вредными пауками по идее тоже можно попробовать.
1. сателлиты
2. зеркала (да, тот самый дедовский способ, который отлично маскировал YSE)
3. данные внутреннего анализа
4. сайты партнеров
ну и т.д.---------- Добавлено в 22:50 ---------- Предыдущее сообщение было в 22:48 ----------
Теоретически можно парсить подсети обращающихся ботов. И все, что лишнее (аффилировано с парсерами) - в бан htaccess или iptables.
Да понятно, что от всех не оградишься.... - Кто сильно захочет, тот и вручную найдет.
Хотелось бы хотя бы защититься от самых очевидных.
В ФФ, наконец-то, все заработало.
Есть О., которые предпочитают не покупать в ГГЛ ссылки с сайтов, на которых хотя бы когда-нибудь стояла сапа. Сами понимаете, смотреть по веб-архиву и прочим источникам, была ли сапа, весьма напряжно.
---------- Добавлено в 16:34 ---------- Предыдущее сообщение было в 16:17 ----------
Сделайте пометку только для тех, кому это нужно.
Чтобы:
а. не нервировать тех, кто хочет снять сапу.
б. удовлетворить ряд О.
Т.е. в списке площадок ничего не показываем, а при поиске добавляем чекбокс "не показывать сайты, которые хотя бы раз были замечены в ссылочных биржах".
И волки сыты, и овцы целы.
