О некомпетентности программисторв яндекса.
Загрузку гугл определяет по скорости отдачи страниц. И если страницы начинают отдаваться медленнее, то он прекращает запросы. А так же, если какой-то мегаскрипт ему сгенерит страничку больше, скажем, пары метров текста, он вообще как бы сайт оставит в покое и придет погодя. Яндекс же - идиот, он если страница отдается медленно, тут же пытается приконнектиться к этой странице еще раз (!), и посылает запрос на соседнюю, СРАЗУ же как эта отвалилась по его мизерному тайм-ауту. Бред.
Письмо ушло. Ждем ответа.
Бред так делать. Ни о каком сео речи быть не может нормальном. Индексироваться будут странички админки, и прочее, прочее, что не должно у какого-нибудь скрипта, про который вы не подумаете.
Hack_phoenix добавил 16.08.2009 в 13:53
Во истину хорошее отношение к людям
Hack_phoenix добавил 16.08.2009 в 13:54
Поднимали. Знаю. Под пароль ставить не выход, надо двиг ковырять.
Hack_phoenix добавил 16.08.2009 в 13:56
Может всем взять и зобанить яндекса к чертям? На месяцочек дружно?
Вообще как бы оговорился... 10 тысяч строк с одной и той же ошибкой. За одну секунду. В минуту это была оговорка. Даже цикл на сайте с ошибкой не даст такого эффекта. там есть другие запросы. Посмотрите. В логе не только яндекс присутствует. Ладно. Скажем, цикл вызывает ошибку 10-20 раз. Откуда берутся тысячи? Яндекс слишком сильно индексирует. Оххо... Акцесслог придется выбирать из MySQl.
Hack_phoenix добавил 16.08.2009 в 08:33
вот акцесс там поменьше, там на гигабайт выйдет... Ничего, если я счас заархивирую и положу вам рядом, чтобы вы убедились?
Hack_phoenix добавил 16.08.2009 в 08:35
а роботс.тхт БЕЗ crawl-delay и это вообще не принципиально. В данном случае его наличие или отсутствие вообще ни о чем не говорит.
Hack_phoenix добавил 16.08.2009 в 08:37
З.Ы. почему я гугла вот так не вижу? Почему-то он заходит через СЛУЖЕБНЫЙ домен в 64 кб/с канал, индексирует 100 с лишним страниц, да так, что зайдя через неделю в гугл я лишь удивился, что он умыдрился на крайне низкой скорости вытянуть это все и положить к себе в кеш...
характерный кусок вы получите скачав килобайт 200 первого не архивированного лога и разорвав закачку... Я знаю что в логе, и мне вырезать куски ни к чему. Это первое.
Второе. ДоС мы уже испытываем хрен знаетсколько времени, но такое видно впервые. Про подему по tcp - это возможно, просто слишком тяжело осуществимо технически. Но вы считаете, что Яндекс мог создать десять тысяч одновременных коннектов? Много думаю...
Hack_phoenix добавил 15.08.2009 в 23:43
Ну и кому будет интересно распаковывать 36 гб логов?
16 закачек... Кому-то интересно.
внимание! архив полного лога (распакуется во все 36 гектар)!
Hack_phoenix добавил 15.08.2009 в 22:59
вес чуть меньше 20 метров
не прописан
прошу прощения. Один хрен это нормальная активность поисковика?
возможна. Но технически это ОЧЕНЬ сложно осуществима. Я даже до конца не уверен, что подмена. Но в такое от яндекса не верится как-то...
Hack_phoenix добавил 15.08.2009 в 22:30
Andreyka,
там прописан crawl-delay.
Это второй админ. Не путайте с клоном.
С человеческой точки зрения я не согласен с этим. А так - куда деваться, обычно и не пишу с мобильного, ибо там Русский не держится... Ну вот интересный софт у меня на мобиле...
po povodu raskladki ne soglasen.
Pisat' s raznyh mashin prohoditsya vsem. I horosho, esli est' natcional'naya raskladka... A esli Ya v slepuyu ne umeyu nabirat' tekst?
Sobstvenno mozhno menya tak zhe pinat' za translit
Не забанили яшу. Так когда он пришел, и начал индексировать одновременно 16 сайтов... На которых нулевая посещаемостЬ, но генерация странички съедает 20-30 метров памяти на php... индексировал сразу кусками по 16-25 страниц в секунду... В какой то момент сервер тормознул... И лавинообразно стало расти число коннектов, скушалось все ОЗУ, весь своп... Было более сотни запросов в секунду на апач... nginx не спас как прокси, ибо сама по себе генерация странички около 0,5-0,6 секунды... Яша при желании может уложить все. А представляться и правда не обязательно, т.к. досер тоже может притвориться Яшей... Меня досили притворяясь Яху... Знакомо..
Hack_phoenix добавил 14.08.2009 в 06:54
это была корка с 2 гигабайтами оперативки и 4 гигами свопа на SATA винте... упала за 15 минут.
