Guru911

Рейтинг
48
Регистрация
06.10.2007
юни:
Guru911,

Вы только не забывайте про две обозначенные в этой теме проблемы:

1. Клоакинг, который проверяется с подсетей, принадлежность которых ПС вряд ли можно установить поиском по БД регистраторов.

2. Ручная проверка, которая вообще может идти (и наверняка идёт) обычным браузером через обычных провайдеров.

В обеих ситуациях (если их не учитывать) любой клиент захочет оторвать хостеру все выпирающие части тела, случись с сайтом какая-то связанная с этим проблема.

я не хостер, исключительно для своих проектов, в таком случае как вы выходите из ситуации ? какая схема посылать плохих и оставлять хороших, с учетом этих двух факторов ?

Кстати чето я не въехал про ручную проверку ? поясните ... Речь о ботах которые больше определенного колличества соединений делают ....

PS: за ссылки спасибо, но было бы проще на кошках, не так ведь много нужно, а вам видимо не сложно :)

Отдельно для тех кто в танке (503 привет) - как минимум 4 категории вредоносных ботов 1) копируют весь ваш сайт и используют в качестве контента ... 2) всякие сео системы и неизвестно кто которые шарятся по вашему сайту и только мешаются, будут они попоздже мучить ваш сервер или в часы пик не имеет значения. 3) вася хакер - от делать нехрен запустил программу сканирования чего нибудь ... 4) реальный ддос ... - все это будет напрягать систему, если не в часы пик, то в иное время, будет жрать трафик, греть железо ( у желаза тоже есть ресурс) ... ах да забыл 5) спам боты - срут где попало в частности в комментах (только про капчи не надо рассказывать щелкается на раз два три...)

в качестве ос если уж возьметесь изучать лучше freebsd - почему холеварить не буду, но есть два неоспоримых плюса, доступная и понятна докоментация на оф сайте и замечательная книга Michael_Lucas_-_FreeBSD.pdf - кстати в ней о всех плюсах и прочитаете :)

если линукс то debian

http://www.howtoforge.com/ - вам в помощ :) - там много примеров рабочих конфигураций, но начинать лучше с книги, чтобы логику хозяйства понять :)

кто в лес, кто подрова ...

Давайте сосредоточимся, как лучше решать проблему?

Возможно ли вообще собрать такой список айпи главных российских поисковиков, остальные лично меня пока не интересуют.

Если нет, то как выйти из ситуации? избыточным железом и "анлим" (кстати где вы настоящий анлим то вообще видели :) ) не вариант.

главный вопрос как при отсеве, не побанить то что ценно ...

юни:
У Яндекса больше мантейнеров.

всмысле ? ментейнер это вообще к чему ?

а как вы собственно решаете эти проблемы ? откуда берете списки и так далее ?

Andreyka:
Практика показывает, что 503 в случае перегрузки - это самая действенная мера. И не надо никаких блокировок через iptables.

ну железо вы допустим не жалеете фиг с ним, за сохранность и оригинальность контента не переживаете и раздаете всем кому не поподя пачками, а точнее оптом, а за траф платить охота ? Паризитный траф от ботов может половину составлять ...

Guru911 добавил 21.06.2011 в 12:34

Reise:
Это бред. Если они это делают, то это плохо не только для ботов, а и для людей. Вы в курсе, что тот же ФФ может делать до 20 одновременных соединений для ускорения загрузки.

видимо файрфокс делает это как то иначе, (уверены что не одновременно для 20 разных страниц ?)

Авито например точно так же фильтрует, попробуйте сканер какой нить запустить, секунды через три ваш айпи в баню улетит на сутки ... при этом 1 миллион пользователей с разными браузерами чувствует себя превосходно ...

Reise:

Полностью поддерживаю. Блокировка по IP - не выход, IP могут часто меняться, вы собираетесь регулярно отслеживать все изменения, чтобы размещенные на вашем сервере сайты не ушли из индекса?

думаю основные все равно не меняются - был бот поисковым - врядле его переопределят разносить кофе ...

Reise:

Вы в этом уверены?

Про апач мало что знаю, может его и можно положить, даже если он 503 отдает, у меня например на серверах nginx, дописываю в конфиге правило типа такого:

ну в смысле не собираемся ставить апач, у меня и lighttpd отлично работает, точнее летает.

десятки тысячи айпи в фаерволе довольно сильно будут напрягать систему даже на уровне ядра, а если сотни правил в энджине ... то тоже скоро начнет тормозить ...

Нужен какой то красивый выход из ситуации :)

Reise добавил 21.06.2011 в 02:53

Reise:

Да никак, изначально постановка вопроса неправильная. По IP не банят. Берите пример с поисковиков, они банят не IP, а сайты, так и вы должны делать, не IP запрещать, а плохих дядей :)

чушь какая то, вы вправду думаете что они сайты правилами в энджин заносят или куда там ? поставить галочку в базе и не давать в выдачу это вообще из другой оперы ...

чаще проблема вообще не с хостами домена может и не быть, а с програмами ...

nmarket:
по скорости hetzner нормальный, пропингуйте allcorp.ru

Грубо, если сравнивать с российскими серверами, то разница по пингу получается 20-40 мс.

p.s. возможно баян, но недавно для себя открыл русскую версию hetzner http://ru.hetzner.com/, странно почему ссылочки с германского нету.

с com идет редирект на de такое кто угодно может поставить ...

тоже как то наткнулся, но не тырят ли номера карточек под шумок умельцы, на главном сайте не гугу ...

обещают от ddos отобьют а квалифицированный ответ по теме дать не могут /ru/forum/638021

don Aleksandro:
потёрто........

c таким колличеством картинок и рекламы, очень шустро работает, спасибо

покажите пару серьезных сайтов в hetzner на выделенных серверах, хочется оценить скорость загрузки ...

можно в личку

рассказать о немецких компаниях и соотношении цена качество за те же деньги :) Помните рекламу, а зачем платить больше ?

Всего: 136