Miha Kuzmin (KMY), а ты зачем выдачу парсишь? Сеопульту занятцо нечем больше? Онлайн-конференций не хватает уже? :)
Ну, не знаю даже.
Зачем, например, толпы оптимизаторов в сапе каждый день жмут кнопки YBL (или каких там)? Вот примерно для этого же.
Это ещё не ddos. Но явление существует, вот в чём дело.
Если бы. Богатство это идёт почти исключительно (процентов 98) на парсинг поисковиков. Или ты думаешь, я от балды назвал цифру в 14-ом посте? ;)
SilverMaster, ну, это у своих технарей лучше узнавать, кто за движок/апач отвечает.
Они тебе нагрузку создают на сервер, вот и отсеки всех, кто скачивает больше страницы в секунду, например. Точный интервал лучше по статистике определить, дабы не отсечь шутстрых, но всё-таки пользователей, а не ботов.
Ботнет, палюбасу. Разные подсети, разные владельцы, разные регистраторы, разные роуты, разные маршруты. Но вот левые хуизы у американцев говорят обо многом.
В общем, их нужно по нагрузке отличать. Легче с ними часть копеек отрубить, чем потом с хостером разбираться (и таки да, ты ему скинь базу, нехай поразмыслят и в работу включатся, после НГ-то).
Лично я знаю около десятка контор. Называть не буду (они мои клиенты). Так нормально?
А, это... Переписку я вёл где-то с год назад, с Алёной Суворовой, если не ошибаюсь.
Практически дословно: "мы не приветствуем использование нашего xml-сервиса для задач, не связанных с поиском по сайту и похожих. Если Вы планируете делать множество запросов к Яндексу (речь шла об 1-10 млн. в сутки), то мы оставляем за собой право приостанавливать обработку таких запросов. Точную цифру сообщить не можем".
Так что это пройденный этап.
RussianDomainer, у Вас есть комания, зарегистрированная в Штатах?
У меня есть. Правда, я не оптимизатор, пардон.
Ботнеты здесь не при чём. Но ты бы ещё 99% населения упомянул, которые слова "serp" и не слышали никогда.
Я говорю не о любителях, во всех их разновидностях, которые раз в апдейт проверяют пяток своих сателлитов, а о крупных конторах, биржах, аггрегаторах, и отдельных людях, создающих всякие "картины Рунета". Вот они как раз, при всей своей малочисленности, генерируют основной сео-трафик.
Кстати, возможно, через пару месяцев, я смогу значительно более точно оценить процент "одиночек" в формировании этого трафа.
Платный вариант чего, Я.XML? Это где такой?
Ну, похоже, что действительно кто-то из ботнета выжимает остатки... причём американские пулы, судя по всему, уже проверяются регистратором на предмет спама и прочих абуз, а райп, как всегда, не шевелится.
Поскольку в noc`и писать бесполезно, можно только к провайдеру обратиться (или к хостеру, а он сам потом всё сделает), на предмет рассмотрения твоей собранной базы, чтобы передали их регистраторам и аплинкам, для более оперативного реагирования.
А так, тактика нормальная, подсовывай им всякий хлам и далее. Можно, кстати, по региональному признакому блокирнуть - зачем тебе всякие дубайско-штатовские непоймикто?
SilverMaster, кхм... ну, давай в студию штук пять разных.
