Загрузку гугл определяет по скорости отдачи страниц. И если страницы начинают отдаваться медленнее, то он прекращает запросы. А так же, если какой-то мегаскрипт ему сгенерит страничку больше, скажем, пары метров текста, он вообще как бы сайт оставит в покое и придет погодя. Яндекс же - идиот, он если страница отдается медленно, тут же пытается приконнектиться к этой странице еще раз (!), и посылает запрос на соседнюю, СРАЗУ же как эта отвалилась по его мизерному тайм-ауту. Бред.
differnetlocal: Мне интересно, Яндекс о ней знает? Вы (или не вы, эта проблема на форуме озвучивалась уже раз двадцать) ему писали?
Письмо ушло. Ждем ответа.
Andreyka: глобальный robots.txt через alias
Бред так делать. Ни о каком сео речи быть не может нормальном. Индексироваться будут странички админки, и прочее, прочее, что не должно у какого-нибудь скрипта, про который вы не подумаете.
Hack_phoenix добавил 16.08.2009 в 13:53
Andreyka: Пойдут на другой сервер где не прописано и нет проблем
Во истину хорошее отношение к людям
Hack_phoenix добавил 16.08.2009 в 13:54
Angelys: tcpdf/ - эту директорию под пароль ставь и будет нормально, была такая же ошибка. Это баг у джумлы ... на англ. форумах такую тему поднимали и не раз.
Поднимали. Знаю. Под пароль ставить не выход, надо двиг ковырять.
Hack_phoenix добавил 16.08.2009 в 13:56
DLag: Да, им похрену на все, т.к. они мегакрутая российская компания, не то что какой-то Гуглыш.
Может всем взять и зобанить яндекса к чертям? На месяцочек дружно?
Вообще как бы оговорился... 10 тысяч строк с одной и той же ошибкой. За одну секунду. В минуту это была оговорка. Даже цикл на сайте с ошибкой не даст такого эффекта. там есть другие запросы. Посмотрите. В логе не только яндекс присутствует. Ладно. Скажем, цикл вызывает ошибку 10-20 раз. Откуда берутся тысячи? Яндекс слишком сильно индексирует. Оххо... Акцесслог придется выбирать из MySQl.
вот акцесс там поменьше, там на гигабайт выйдет... Ничего, если я счас заархивирую и положу вам рядом, чтобы вы убедились?
Hack_phoenix добавил 16.08.2009 в 08:35
а роботс.тхт БЕЗ crawl-delay и это вообще не принципиально. В данном случае его наличие или отсутствие вообще ни о чем не говорит.
Hack_phoenix добавил 16.08.2009 в 08:37
З.Ы. почему я гугла вот так не вижу? Почему-то он заходит через СЛУЖЕБНЫЙ домен в 64 кб/с канал, индексирует 100 с лишним страниц, да так, что зайдя через неделю в гугл я лишь удивился, что он умыдрился на крайне низкой скорости вытянуть это все и положить к себе в кеш...
netwind: Если вы первый раз столкнулись с ddos, мы вас поздравляем.
характерный кусок вы получите скачав килобайт 200 первого не архивированного лога и разорвав закачку... Я знаю что в логе, и мне вырезать куски ни к чему. Это первое.
Второе. ДоС мы уже испытываем хрен знаетсколько времени, но такое видно впервые. Про подему по tcp - это возможно, просто слишком тяжело осуществимо технически. Но вы считаете, что Яндекс мог создать десять тысяч одновременных коннектов? Много думаю...
Hack_phoenix добавил 15.08.2009 в 23:43
Ну и кому будет интересно распаковывать 36 гб логов?
DLag: А вы правила форума почитайте и все несогласия развеются.
С человеческой точки зрения я не согласен с этим. А так - куда деваться, обычно и не пишу с мобильного, ибо там Русский не держится... Ну вот интересный софт у меня на мобиле...
Не забанили яшу. Так когда он пришел, и начал индексировать одновременно 16 сайтов... На которых нулевая посещаемостЬ, но генерация странички съедает 20-30 метров памяти на php... индексировал сразу кусками по 16-25 страниц в секунду... В какой то момент сервер тормознул... И лавинообразно стало расти число коннектов, скушалось все ОЗУ, весь своп... Было более сотни запросов в секунду на апач... nginx не спас как прокси, ибо сама по себе генерация странички около 0,5-0,6 секунды... Яша при желании может уложить все. А представляться и правда не обязательно, т.к. досер тоже может притвориться Яшей... Меня досили притворяясь Яху... Знакомо..
Hack_phoenix добавил 14.08.2009 в 06:54
это была корка с 2 гигабайтами оперативки и 4 гигами свопа на SATA винте... упала за 15 минут.
Говорит о некомпетентности.
О некомпетентности программисторв яндекса.
Загрузку гугл определяет по скорости отдачи страниц. И если страницы начинают отдаваться медленнее, то он прекращает запросы. А так же, если какой-то мегаскрипт ему сгенерит страничку больше, скажем, пары метров текста, он вообще как бы сайт оставит в покое и придет погодя. Яндекс же - идиот, он если страница отдается медленно, тут же пытается приконнектиться к этой странице еще раз (!), и посылает запрос на соседнюю, СРАЗУ же как эта отвалилась по его мизерному тайм-ауту. Бред.
Мне интересно, Яндекс о ней знает? Вы (или не вы, эта проблема на форуме озвучивалась уже раз двадцать) ему писали?
Письмо ушло. Ждем ответа.
глобальный robots.txt через alias
Бред так делать. Ни о каком сео речи быть не может нормальном. Индексироваться будут странички админки, и прочее, прочее, что не должно у какого-нибудь скрипта, про который вы не подумаете.
Hack_phoenix добавил 16.08.2009 в 13:53
Пойдут на другой сервер где не прописано и нет проблем
Во истину хорошее отношение к людям
Hack_phoenix добавил 16.08.2009 в 13:54
tcpdf/ - эту директорию под пароль ставь и будет нормально, была такая же ошибка. Это баг у джумлы ... на англ. форумах такую тему поднимали и не раз.
Поднимали. Знаю. Под пароль ставить не выход, надо двиг ковырять.
Hack_phoenix добавил 16.08.2009 в 13:56
Да, им похрену на все, т.к. они мегакрутая российская компания, не то что какой-то Гуглыш.
Может всем взять и зобанить яндекса к чертям? На месяцочек дружно?
Вообще как бы оговорился... 10 тысяч строк с одной и той же ошибкой. За одну секунду. В минуту это была оговорка. Даже цикл на сайте с ошибкой не даст такого эффекта. там есть другие запросы. Посмотрите. В логе не только яндекс присутствует. Ладно. Скажем, цикл вызывает ошибку 10-20 раз. Откуда берутся тысячи? Яндекс слишком сильно индексирует. Оххо... Акцесслог придется выбирать из MySQl.
Hack_phoenix добавил 16.08.2009 в 08:33
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/34/2009/10 HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (compatible; Win16; I$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/34-2009-06-23-05-24-59/59--ati-directx-11 HTTP/1.1" 200 904 "-" "Yandex$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /login/reset.html HTTP/1.1" 200 889 "-" "Yandex/1.01.001 (compatible; Win16; $
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /component/mailto/ HTTP/1.1" 200 1809 "-" "Yandex/1.01.001 (compatible; Win16$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /joomla/2009-07-17-03-49-04/126-2009-07-18-07-20-10/2009/5.html HTTP/1.1" 200$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/2009/8 HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (c$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /component/content/article;/82 HTTP/1.1" 200 239732 "-" "Yandex/1.01.001 (com$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /joomla/139-system-mechanic-standart-v900 HTTP/1.1" 200 302780 "-" "Yandex/1.$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /index.php HTTP/1.1" 200 14259 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/34/2009/9.feed HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (compatible; Win1$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /features/35/2009/7.feed HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (compatible; $
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/123---chrome-os--windows-7.html HTTP/1.1" 200 39$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/142-internet-explorer-8-----q-q.html HTTP/1.1" 2$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/2009/7 HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (c$
вот акцесс там поменьше, там на гигабайт выйдет... Ничего, если я счас заархивирую и положу вам рядом, чтобы вы убедились?
Hack_phoenix добавил 16.08.2009 в 08:35
а роботс.тхт БЕЗ crawl-delay и это вообще не принципиально. В данном случае его наличие или отсутствие вообще ни о чем не говорит.
Hack_phoenix добавил 16.08.2009 в 08:37
З.Ы. почему я гугла вот так не вижу? Почему-то он заходит через СЛУЖЕБНЫЙ домен в 64 кб/с канал, индексирует 100 с лишним страниц, да так, что зайдя через неделю в гугл я лишь удивился, что он умыдрился на крайне низкой скорости вытянуть это все и положить к себе в кеш...
Если вы первый раз столкнулись с ddos, мы вас поздравляем.
характерный кусок вы получите скачав килобайт 200 первого не архивированного лога и разорвав закачку... Я знаю что в логе, и мне вырезать куски ни к чему. Это первое.
Второе. ДоС мы уже испытываем хрен знаетсколько времени, но такое видно впервые. Про подему по tcp - это возможно, просто слишком тяжело осуществимо технически. Но вы считаете, что Яндекс мог создать десять тысяч одновременных коннектов? Много думаю...
Hack_phoenix добавил 15.08.2009 в 23:43
Ну и кому будет интересно распаковывать 36 гб логов?
16 закачек... Кому-то интересно.
внимание! архив полного лога (распакуется во все 36 гектар)!
Hack_phoenix добавил 15.08.2009 в 22:59
вес чуть меньше 20 метров
не прописан
прошу прощения. Один хрен это нормальная активность поисковика?
возможна. Но технически это ОЧЕНЬ сложно осуществима. Я даже до конца не уверен, что подмена. Но в такое от яндекса не верится как-то...
Hack_phoenix добавил 15.08.2009 в 22:30
Andreyka,
robots.txt для чего придуман?
там прописан crawl-delay.
Это второй админ. Не путайте с клоном.
А вы правила форума почитайте и все несогласия развеются.
С человеческой точки зрения я не согласен с этим. А так - куда деваться, обычно и не пишу с мобильного, ибо там Русский не держится... Ну вот интересный софт у меня на мобиле...
po povodu raskladki ne soglasen.
Pisat' s raznyh mashin prohoditsya vsem. I horosho, esli est' natcional'naya raskladka... A esli Ya v slepuyu ne umeyu nabirat' tekst?
Sobstvenno mozhno menya tak zhe pinat' za translit
Не забанили яшу. Так когда он пришел, и начал индексировать одновременно 16 сайтов... На которых нулевая посещаемостЬ, но генерация странички съедает 20-30 метров памяти на php... индексировал сразу кусками по 16-25 страниц в секунду... В какой то момент сервер тормознул... И лавинообразно стало расти число коннектов, скушалось все ОЗУ, весь своп... Было более сотни запросов в секунду на апач... nginx не спас как прокси, ибо сама по себе генерация странички около 0,5-0,6 секунды... Яша при желании может уложить все. А представляться и правда не обязательно, т.к. досер тоже может притвориться Яшей... Меня досили притворяясь Яху... Знакомо..
Hack_phoenix добавил 14.08.2009 в 06:54
это была корка с 2 гигабайтами оперативки и 4 гигами свопа на SATA винте... упала за 15 минут.