Бешеннная загрузка проца из - за яндекса

12
AboutSEO
На сайте с 18.01.2007
Offline
154
#11

насчет "не самый прожорливый" это конечно спорный вопрос.


Googlebot 2070+3 8.42 МБ 03 Sep 2007 - 15:42
Yahoo Slurp 2049+13 10.54 МБ 03 Sep 2007 - 15:43
Yandex bot 1560+25 57.05 МБ 03 Sep 2007 - 15:22
MSNBot 253+109 3.84 МБ 03 Sep 2007 - 15:29
Google AdSense 209+2 1.43 МБ 03 Sep 2007 - 15:08
Yahoo-MMCrawler 86+1 148 Байты 03 Sep 2007 - 04:11

в примере хорошо видно, при меньшем числе обрасчений, наивысший скаченый размер.

K
На сайте с 29.08.2006
Offline
17
#12
AVV:
alexseo имел в виду, что Яндекс волнуется. :)

я так понял, что alexseo имел ввиду, что при заходе такого высокого гостя от яндекса волнуется проц, что у него аж загрузка подскакивает в несколько раз :)

AVV
На сайте с 31.07.2006
Offline
84
AVV
#13
AboutSEO:
насчет "не самый прожорливый" это конечно спорный вопрос.

в примере хорошо видно, при меньшем числе обрасчений, наивысший скаченый размер.

Возможно потому, что он хавает еще и картинки для поиска по картинкам, иначе не понятно, как при меньшем числе обращений может получиться наивысший скачанный размер.

В таком случае, можно попробовать закрыть в роботс директории (папки) с изображениями.

AboutSEO
На сайте с 18.01.2007
Offline
154
#14

в новостях, не так и много картинок, да если и есть, то размеры их не значительны.

вот статистика за прошлый месяц, расхождения ну просто несоизмеримые.


Yandex bot 44022+380 924.77 МБ 31 Aug 2007 - 23:57
Yahoo Slurp 43463+270 219.79 МБ 31 Aug 2007 - 23:58
Googlebot 34295+50 158.69 МБ 31 Aug 2007 - 23:59
Unknown robot (identified by 'crawl') 10528+263 45.47 МБ 31 Aug 2007 - 12:07
MSNBot 2104+1103 37.95 МБ 31 Aug 2007 - 23:24
Google AdSense 2282+11 17.62 МБ 31 Aug 2007 - 23:25
Unknown robot (identified by 'robot') 2141+57 6.25 МБ 31 Aug 2007 - 19:38
Alexa (IA Archiver) 1296+50 17.65 МБ 31 Aug 2007 - 12:14
Yahoo-MMCrawler 655+12 1.73 КБ 31 Aug 2007 - 05:15
InternetSeer 271 0 31 Aug 2007 - 21:53
Остальные 931+339 13.00 МБ

лично меня это ничуть не напрягает, просто привел пример.

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#15

Просто робот Яндекса gzip не берет.

Кстати, это даже снижает как раз процессорную нагрузку - сжимать-то на лету страницы не надо.

0B
На сайте с 05.08.2007
Offline
5
#16

Plastik, название вашего хостинга случайно не на "слав" начинается. Просто у меня такая-же история. Задолбался уже... Вы упомянули цифру в 7,5. У меня такая-же цифра по тарифу на который меня перевели. Но похоже этим дело не кончится... Цифры которые админы говорят - проверить не где. Приходится верить на слово и чувствовать себя лохом. Может это новая деректива начальства, направленая на максимизацию прибыли? А может у меня паранойя? 😮

P
На сайте с 13.02.2007
Offline
102
#17
0_bot:
Plastik, название вашего хостинга случайно не на "слав" начинается. Просто у меня такая-же история. Задолбался уже... Вы упомянули цифру в 7,5. У меня такая-же цифра по тарифу на который меня перевели. Но похоже этим дело не кончится... Цифры которые админы говорят - проверить не где. Приходится верить на слово и чувствовать себя лохом. Может это новая деректива начальства, направленая на максимизацию прибыли? А может у меня паранойя? 😮

Не не "слав". Вообще переодически встречаются глюки у них. Я один могу загрузить проц выше максимума. Бред блин. Писал в саппорт, сказали разберуться.

Вопрос. А как реально можно запретить яндексу индексировать сайт. У меня такое ощущение, что на роботс ему чихать. Он стучится и стучиться в те секции, которые уже скачал. Реально раздражает. Удаление у них нефига походу не работает. Бардак одним словом.

X
На сайте с 06.04.2006
Offline
115
#18

Если робот Яндекса снижает нагрузку на проц вследствии не принятия gzip, тогда непонятна проблема такого загруза именно во время заходы робота Яндекса!!!

Plastik, в зависимости от тарифного плана рекомендовал бы либо сменить тарифный план, либо сменить хостера.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий