боты поисковых систем

да я примерно тоже самое нарыл, вопрос, а как по user-agent на уровне файрвола их разрешить ?

(апач не используем, да и не эффективно на уровне апача это делать)

И вопрос на засыпку, а разве спам боты не могут маскироваться по user-agent ? мне кажется по айпи немного надежнее, но гемор с обновлениями

Guru911 добавил 20.06.2011 в 23:45

выглядит скудненько, потому как их только для яши диапозонов около 300 http://www.db.ripe.net/whois?form_type=advanced&full_query_string=&searchtext=YANDEX-MNT&do_search=Search&inverse_attributes=mnt-by&ip_search_lvl=Default%2528nearest+match%2529&alt_database=ALL&object_type=inetnum

может основные конечно, но как бы тут чего не пропустить, а то уже начитался историй, о том что одного новостного бота не пустили, и основной перестал ходить ...

Да и вопрос как это дело обновлять ? ...

Кстати про боты sape тоже интересно - он у них один ?

Guru911 добавил 20.06.2011 в 23:47

это вы о чем ? и к кому ?

чтобы подстраховаться от "случайно забанил" - можно периодически делать обратный резолв новых адресов, попавших в черный список.

Это бред. Если они это делают, то это плохо не только для ботов, а и для людей. Вы в курсе, что тот же ФФ может делать до 20 одновременных соединений для ускорения загрузки.

Полностью поддерживаю. Блокировка по IP - не выход, IP могут часто меняться, вы собираетесь регулярно отслеживать все изменения, чтобы размещенные на вашем сервере сайты не ушли из индекса?

Reise добавил 21.06.2011 в 02:51

Вы в этом уверены?

Про апач мало что знаю, может его и можно положить, даже если он 503 отдает, у меня например на серверах nginx, дописываю в конфиге правило типа такого:

Кстати можете взять этого юзер-агента на заметку для отсева :)

Reise добавил 21.06.2011 в 02:53

Да никак, изначально постановка вопроса неправильная. По IP не банят. Берите пример с поисковиков, они банят не IP, а сайты, так и вы должны делать, не IP запрещать, а плохих дядей :)

29871 IP вот сколько в такой табличке.

Практика показывает, что 503 в случае перегрузки - это самая действенная мера. И не надо никаких блокировок через iptables.

ну железо вы допустим не жалеете фиг с ним, за сохранность и оригинальность контента не переживаете и раздаете всем кому не поподя пачками, а точнее оптом, а за траф платить охота ? Паризитный траф от ботов может половину составлять ...

Guru911 добавил 21.06.2011 в 12:34

видимо файрфокс делает это как то иначе, (уверены что не одновременно для 20 разных страниц ?)

Авито например точно так же фильтрует, попробуйте сканер какой нить запустить, секунды через три ваш айпи в баню улетит на сутки ... при этом 1 миллион пользователей с разными браузерами чувствует себя превосходно ...

думаю основные все равно не меняются - был бот поисковым - врядле его переопределят разносить кофе ...

ну в смысле не собираемся ставить апач, у меня и lighttpd отлично работает, точнее летает.

десятки тысячи айпи в фаерволе довольно сильно будут напрягать систему даже на уровне ядра, а если сотни правил в энджине ... то тоже скоро начнет тормозить ...

Нужен какой то красивый выход из ситуации :)

Reise добавил 21.06.2011 в 02:53

чушь какая то, вы вправду думаете что они сайты правилами в энджин заносят или куда там ? поставить галочку в базе и не давать в выдачу это вообще из другой оперы ...

чаще проблема вообще не с хостами домена может и не быть, а с програмами ...

У Яндекса больше мантейнеров.

Излишне, да и не всегда можно получить домен.

Один из оптимальных вариантов.

У Гугла есть диапазоны не только в арине.

Отмазка в духе Яндекса. Ничто не мешает опубликовать изменившийся список (тем более, что это процесс далеко не сиюминутный).

Без разницы, адресов там значительно меньше.

"Блоков ip" наверное имеется в виду?

Кстати да, бэкрезолв тоже можно подделать как и юзерагент, вот думаю, может так и сделать и потом в саппорт написать.

всмысле ? ментейнер это вообще к чему ?

а как вы собственно решаете эти проблемы ? откуда берете списки и так далее ?

Нет именно IP адресов, блоков там поменьше будет.