Предложение вебмастерам по блокированию автоматов RSS

Продолжение

2 Deni Ваш список неработоспособен. :) Нужно указыват либо начало IP, либо маску в виде IP/bit. Но может оно и к лучшему. Если бы оно работало, то заблокировалась бы почти вся Украина, Сибирь и половина Европейской части России. И, кстати, почему-то там очень много IP университетов. Но тем не менее информации там полезной много, большое спасибо за список.

Я свой список закончил и только что прикрутил на сервер. Я брал IP нарушителей, которых отловил сам, использовал список Deni, проглядел смежные диапазоны, проанализировал список хостеров с hostobzor.ru, включил туда несколько анонимайзеров, "гадителей" на форумы и гостевые. Так же поменял дефаутную страницу на 403 ответ, так что если случайно попадут живые пользователи, думаю они дадут мне об этом знать. Кто желаешь так же принять участие в эксперименте - готов поделится списком.

Список должен быть динамичным, т.к. ситуация с ip нередко меняется. По этому банилка должна работать в кроне и анализировать разные временные промежутки. (10мин 1час 1Сутки).

Ну динамика тут не сильно важна, в действительности ip меняются редко. И при этом на 403 стоит заглушка с информацией, как можно снять это ограничение, связавшись со мной.

Обновился список, добавлено несколько хостингов, в основном российских, сидящих на РТком и Информцентер. Желающие - обращайтесь.

Dybra, Почему Вы утверждаете что мой список не работоспособный? В каком именно месте он нарушает стандарты?

Вы крайне заблуждаетесь. Все у меня работает и крайне корректно

Кстати я его сбросил и набираю заново. Так как старые парщики уже не парсят и нет смысла в блокировки.

Собственно когда мне писали движек я хотел внести автоматическую защиту от массового парсинга. Алгоритм проработали на 90 %. Но время поджимало и не стали писать.

Приношу свои извинения. Просто в тех доках, которые я видел, не было приведено примеров нотации в виде полной маски, но первоисточник http://httpd.apache.org/docs/trunk/mod/mod_access_compat.html показывает, что все правы.

У вас в списке есть избыточность некоторая. так

deny from 74.6.26.200/255.255.0.0

может быть смело записан как

deny from 74.6

что в общем довольно рискованно, так как под эту раздачу могут попасть IP интернет-провайдеров.

Я же пошел по более трудоемкому, но более "человечному" пути, вырезая по диапазону IP только хостингов. Причем они попадают в список, только если whios точно показывает, что этот диапазон IP точно принадлежит хостингу.

И как я уже писал выше, в вашем списке очень много региональных отделений "Электросвязь", т.е. тем самым блокировались очень многие пользователи с Урала, Сибири, пользующиеся государственным провайдеров; и много пользователей с Украины. Так что может оно и к лучшему, что вы его сбросили.

Dybra, Я банил в реальном времени. Вижу вспрекск просмотров, смотрю айпишник. Если по поведению видно что это не человек то сразу в бан. Само собой смотрю кому он принадлежит.

Вы забываете одно. Парсят не только с серверов но и с домашних компов тем же телепортом

Бред, бывают же извращенцы, лучше бы уже посмотрел хороший ботов и разрешил только им :)

А может лучше вообще снеси RSS ленту ... и сайт перенести на домашний комп, а то ведь страницы парсить начнут...

P.S. параноикам в интернете не место...

Да не, RSS на сайтах ставят, чтобы людям было удобнее, а не для того чтобы школьнеги наклепали доров в автоматическом режиме из чужого контента. Уточняю именно: школьнеги. Вот и задача отделять мух от котлет.