outtime, таких несмешных историй я могу тыщу сочинить :)
Vin_cent, можете поделиться списком их айпи, сетей?
можно сделать, если нет таких
kxk, понято.
Я о другом способе говорил. Определять по поведению.
Вчера завтра менять жена.
ленивым и совет не поможет
какой принцип? в общих чертах.
Если контента мало - скачают под разными проксями и т.п.
А вот если много - можно отсеивать айпи парсеров после нескольких запросов. Активно. Агрессивно. Тогда проксей не наберутся.
Давно есть идея создать хорошую защиту от ботов, инструмент для определения качества трафика и его фильтрации, продвинутую капчу. Но как всегда нет времени.
Жду пока кто нибудь закажет нечто подобное, чтобы хотя бы начать.
Теоретическая база уже собрана.
Там всего то 500-1000 нужны :)
Мало данных для эксперимента.
Нет ни вводных, ни точной формулировки того что мы проверяем.
Даже если допустить, что мы догадались о чем речь, чистоты не будет все равно.
Нет достаточного кол-ва сайтов\статей.
Они несравнимы в разрезе пересекаемости факторов ранжирования. Отклик пользователей сети будет разный на них. И т.п. и т.п.
Так точно проще и быстрее. Так уж вы серч любите :)