- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Доброго времени суток, форумяне. Сейчас архивируется 37-гигабайтный (!) лог-файл.. В котором запросы к одной и той же странице с IP яндекса происходили местами до десятков(!) тысяч обращений в секунду. Как мне видится. не только робот валит сайты, а какая-то команда маскирует IP. И так, лог событий... без таймстампов.
Днем замечаем повышенную нагрузку на сервер. Странно, один пользователь грузит почти под 100% ервер. Выясняем - запросы на сайт от яндекса. удивительно, но не трогаем. Клиент бесплатного хостинга, сайт впринципе не плохой. Человек активно выискивает наши баги и не ругается.
через 30 минут замечаем возрастание нагрузки. Странно. Тот же бот. Сидим, ждем, сервер держит. Видим, что не нормально, но логи не разбираем.
Стихло. Настал ежедневный бекап на отдельный сервер... Высокая нагрузка, долго архивируется этот клиент. Идем смотреть... Находим еррорлог у него в аккаунте (у нас логи клиентов лежат так, чтобы клиент имел к ним свободный доступ, в его директории). Ого, мамочки.. Еррорлог 37 гигабайт... Смотрим... Хренеем...
Сейчас допакуется, дам линк. Подмена IP и попытка завалить сервер... Мда... Поздравьте нас. То раньше ботнетами в сотни машин валили, ботнеты было видно. Теперь вот так... Жестоко, однако. Много думаем...
Hack_phoenix добавил 15.08.2009 в 21:14
З.Ы. Остальныесайты работали медленнее, естестенно, но отказов в доступе небыло. Нагрузка распределяется.
Вот кстатьи ссылка на не заархивированный лог
http://sp.group-phoenix.ru/error.log
чуть позже будет на заархивированный...
Это второй админ. Не путайте с клоном.
Недавно был идентичный случай.
На мощном ВДС на котором было несколько сайтов резко произвел перегруз и весь сервак ушёл в слип.
Начали разбираться с администратором, он по характеру происходящего сразу сказал мне что это ддос (на вдс был сайт полит организации), но когда мы посмотрели в логи увидели что это яндекс бот...
У меня не разу не было что бы бот яши ложил сервак, а в тот раз так произошло что наталкивает на то же о чем говорит ТС.
Кстати поднять сервак мы не могли около часа, и ответный ддос давали и ипы банили все бесполезно.
На яндекс не похоже хотя может он начал принимать радикальные меры по борьбе с ГС))).
Подмена ip всё-таки возможна или нет?
robots.txt для чего придуман?
возможна. Но технически это ОЧЕНЬ сложно осуществима. Я даже до конца не уверен, что подмена. Но в такое от яндекса не верится как-то...
Hack_phoenix добавил 15.08.2009 в 22:30
Andreyka,
robots.txt для чего придуман?
там прописан crawl-delay.
Думаю отписать в саппорт яндекса... Что они ответят... А то странно получается...
Думаю отписать в саппорт яндекса... Что они ответят... А то странно получается...
Они ответят что это глупости... И скажут что такого быть не может.
Подмена ip всё-таки возможна или нет?
как сейчас не знаю - раньше был возможен
"Ip спуфинг"
А логи на что ? Логи апача + с дц можно логи предоставить... Или так рано или поздно будут забанены IP яндекса нафиг во всех ДЦ для стабильности