А яндекс ли валит хостеров и ваши сайты?

Hack_phoenix
На сайте с 04.04.2009
Offline
57
7330

Доброго времени суток, форумяне. Сейчас архивируется 37-гигабайтный (!) лог-файл.. В котором запросы к одной и той же странице с IP яндекса происходили местами до десятков(!) тысяч обращений в секунду. Как мне видится. не только робот валит сайты, а какая-то команда маскирует IP. И так, лог событий... без таймстампов.

Днем замечаем повышенную нагрузку на сервер. Странно, один пользователь грузит почти под 100% ервер. Выясняем - запросы на сайт от яндекса. удивительно, но не трогаем. Клиент бесплатного хостинга, сайт впринципе не плохой. Человек активно выискивает наши баги и не ругается.

через 30 минут замечаем возрастание нагрузки. Странно. Тот же бот. Сидим, ждем, сервер держит. Видим, что не нормально, но логи не разбираем.

Стихло. Настал ежедневный бекап на отдельный сервер... Высокая нагрузка, долго архивируется этот клиент. Идем смотреть... Находим еррорлог у него в аккаунте (у нас логи клиентов лежат так, чтобы клиент имел к ним свободный доступ, в его директории). Ого, мамочки.. Еррорлог 37 гигабайт... Смотрим... Хренеем...

Сейчас допакуется, дам линк. Подмена IP и попытка завалить сервер... Мда... Поздравьте нас. То раньше ботнетами в сотни машин валили, ботнеты было видно. Теперь вот так... Жестоко, однако. Много думаем...

Hack_phoenix добавил 15.08.2009 в 21:14

З.Ы. Остальныесайты работали медленнее, естестенно, но отказов в доступе небыло. Нагрузка распределяется.

...никто не узнает, как плачет ночью тот, кто идет днем по жизни смеясь... Хостинг. VPS. Мы работаем для вас. (http://hostace.ru).
s007s
На сайте с 15.08.2009
Offline
26
#1

Вот кстатьи ссылка на не заархивированный лог

http://sp.group-phoenix.ru/error.log

чуть позже будет на заархивированный...

HostAce - Асы в своем деле (http://hostace.ru) VPS / VDS ( XEN ) в России от 380 Руб ( CPU - 400 Mhz / RAM - 384 Mb / HDD - 10 Gb )
Hack_phoenix
На сайте с 04.04.2009
Offline
57
#2

Это второй админ. Не путайте с клоном.

[Удален]
#3

Недавно был идентичный случай.

На мощном ВДС на котором было несколько сайтов резко произвел перегруз и весь сервак ушёл в слип.

Начали разбираться с администратором, он по характеру происходящего сразу сказал мне что это ддос (на вдс был сайт полит организации), но когда мы посмотрели в логи увидели что это яндекс бот...

У меня не разу не было что бы бот яши ложил сервак, а в тот раз так произошло что наталкивает на то же о чем говорит ТС.

Кстати поднять сервак мы не могли около часа, и ответный ддос давали и ипы банили все бесполезно.

На яндекс не похоже хотя может он начал принимать радикальные меры по борьбе с ГС))).

T
На сайте с 23.06.2006
Offline
257
#4

Подмена ip всё-таки возможна или нет?

Andreyka
На сайте с 19.02.2005
Offline
822
#5

robots.txt для чего придуман?

Не стоит плодить сущности без необходимости
Hack_phoenix
На сайте с 04.04.2009
Offline
57
#6

возможна. Но технически это ОЧЕНЬ сложно осуществима. Я даже до конца не уверен, что подмена. Но в такое от яндекса не верится как-то...

Hack_phoenix добавил 15.08.2009 в 22:30

Andreyka,

Andreyka:
robots.txt для чего придуман?

там прописан crawl-delay.

s007s
На сайте с 15.08.2009
Offline
26
#7

Думаю отписать в саппорт яндекса... Что они ответят... А то странно получается...

[Удален]
#8
s007s:
Думаю отписать в саппорт яндекса... Что они ответят... А то странно получается...

Они ответят что это глупости... И скажут что такого быть не может.

Maxiz
На сайте с 04.01.2008
Offline
208
#9
torg:
Подмена ip всё-таки возможна или нет?

как сейчас не знаю - раньше был возможен

"Ip спуфинг"

s007s
На сайте с 15.08.2009
Offline
26
#10

А логи на что ? Логи апача + с дц можно логи предоставить... Или так рано или поздно будут забанены IP яндекса нафиг во всех ДЦ для стабильности

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий