да ладно, что уже тут говорить ... Яндекс со своей задачей справляется ... индексирует всё быстро ... это мне надо переписывать, искать глюки ... и делать так что б нагрузка была в рамках ... просто обидно, что яндекс стал выбрасывать сайты.
ну я грубо называю эту картину
вот хороший кусок лога ...
тупо дос атака ... и это только на один сайт ... а если все сайты ... то это вот и получается такая нагрузка ...
и спрашивает какого индексировать сайт ... если Яндекс на него трафика даёт кот наплакал 50 - 100 хостов от силы ... так как какого то Яндекс взял и зафильтровал старый сайт ...
87.250.254.28 - - [16/May/2007:00:40:16 -0400] "GET /65181_303.html HTTP/1.1" 200 19548 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:18 -0400] "GET /88914_381.html HTTP/1.1" 200 19230 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:19 -0400] "GET /81158_283.html HTTP/1.1" 200 18949 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:21 -0400] "GET /79761_283.html HTTP/1.1" 200 19014 "-" "Yandex/1.01.001 (compatible; Win16; I)"
66.249.72.130 - - [16/May/2007:00:40:22 -0400] "GET /sec/253.html HTTP/1.1" 200 31077 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
87.250.254.28 - - [16/May/2007:00:40:23 -0400] "GET /85185_340.html HTTP/1.1" 200 18742 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:24 -0400] "GET /40543_309.html HTTP/1.1" 200 19085 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:26 -0400] "GET /45422_197.html HTTP/1.1" 200 19123 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:27 -0400] "GET /74293_283.html HTTP/1.1" 200 19208 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:29 -0400] "GET /sec/249_p270_offer.html HTTP/1.1" 200 31424 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:31 -0400] "GET /58865_291.html HTTP/1.1" 200 17920 "-" "Yandex/1.01.001 (compatible; Win16; I)"
74.6.69.34 - - [16/May/2007:00:40:32 -0400] "GET /66225_299.html HTTP/1.0" 200 19088 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
66.249.72.130 - - [16/May/2007:00:40:32 -0400] "GET /sec/257.html HTTP/1.1" 200 25660 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
87.250.254.28 - - [16/May/2007:00:40:33 -0400] "GET /89116_264.html HTTP/1.1" 200 19211 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:35 -0400] "GET /sec/310_p0_buyer.html HTTP/1.1" 200 29067 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:36 -0400] "GET /80239_347.html HTTP/1.1" 200 18900 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:38 -0400] "GET /77382_282.html HTTP/1.1" 200 19173 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:40 -0400] "GET /56090_191.html HTTP/1.1" 200 18891 "-" "Yandex/1.01.001 (compatible; Win16; I)"
66.249.72.130 - - [16/May/2007:00:40:41 -0400] "GET /add_mes249.html HTTP/1.1" 200 19364 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
87.250.254.28 - - [16/May/2007:00:40:42 -0400] "GET /sec/347_p220.html HTTP/1.1" 200 31272 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:44 -0400] "GET /sec/354_p310.html HTTP/1.1" 200 31452 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:46 -0400] "GET /71741_284.html HTTP/1.1" 200 18751 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:48 -0400] "GET /sec/250_p220_offer.html HTTP/1.1" 200 22295 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.254.28 - - [16/May/2007:00:40:49 -0400] "GET /64797_375.html HTTP/1.1" 200 19152 "-" "Yandex/1.01.001 (compatible; Win16; I)"
66.249.72.130 - - [16/May/2007:00:41:01 -0400] "GET /90604_340.html HTTP/1.1" 200 18871 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
74.6.71.160 - - [16/May/2007:00:41:08 -0400] "GET /sec/360_buyer.html HTTP/1.0" 200 29784 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
87.250.230.8 - - [16/May/2007:00:42:06 -0400] "GET /56255_191.html HTTP/1.1" 200 18375 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:07 -0400] "GET /44726_272.html HTTP/1.1" 200 18782 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:09 -0400] "GET /sec/272_p770_offer.html HTTP/1.1" 200 29253 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:11 -0400] "GET /37201_178.html HTTP/1.1" 200 18451 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:12 -0400] "GET /51823_198.html HTTP/1.1" 200 19195 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:14 -0400] "GET /36706_340.html HTTP/1.1" 200 19365 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:15 -0400] "GET /40400_202.html HTTP/1.1" 200 21301 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:17 -0400] "GET /58856_272.html HTTP/1.1" 200 19018 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:19 -0400] "GET /sec/191_p8460_offer.html HTTP/1.1" 200 28953 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:20 -0400] "GET /44432_228.html HTTP/1.1" 200 16318 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:22 -0400] "GET /41013_340.html HTTP/1.1" 200 18549 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:24 -0400] "GET /58861_191.html HTTP/1.1" 200 19127 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:25 -0400] "GET /52235_178.html HTTP/1.1" 200 18885 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:27 -0400] "GET /41360_299.html HTTP/1.1" 200 18845 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:28 -0400] "GET /57639_272.html HTTP/1.1" 200 19502 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:30 -0400] "GET /48378_273.html HTTP/1.1" 200 18641 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:32 -0400] "GET /56920_191.html HTTP/1.1" 200 17901 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:33 -0400] "GET /52530_178.html HTTP/1.1" 200 19030 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:35 -0400] "GET /42510_228.html HTTP/1.1" 200 19291 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.8 - - [16/May/2007:00:42:36 -0400] "GET /42309_340.html HTTP/1.1" 200 18680 "-" "Yandex/1.01.001 (compatible; Win16; I)"
Miha Kuzmin (KMY), semenov,
я понимаю ... но поезд уехал ...
вот смотрите самый нижний график ... всё было спокойно долго и нудно ... но вот с марта нагрузка, что то сильно возросла ... хотя никакие работы на сервере не велись ...
с чего бы это ...
то что контент тянут каждую ночь я сомневаюсь ...
хм ... надо так Disallow: folder ?
да что логи - логи нормальные .. я что не знаю яндекс роботов ... никто контент не тянет каждую ночь ...
просто смысл давать такую нагрузку на сервер, а потом выбрасывать сайты из базы ...
потом через ап два возвращать ...
вот такую картинку я вижу каждую ночь ...
статистика такая :
за период 14 - 16 марта
111,483 яндекс съел
12,302 рамблер
7,725 гугл
статистика по другому серверу:
период 4-16 марта:
288374 яндекс
46266 рамблер
20475 гугл
чего то мне не понятно ... чего яндекс лезет в папки который запрещены для индексции ...
или я роботс кривой даю :(
Disallow: /folder
я так понимаю в папки с таким названием никто не должен лезть ?
или это от корня ?
у меня папки такого вида site.com/id/folder/
но что самое интересное когда пытаюсь удалить из яндекса site.com/id/folder/
он пишет такая страница не проиндексирована ... хотя в индексе она есть и в выдаче тоже есть ...
может действительно кто то тырит контент ... это идея ...
Miha Kuzmin (KMY), я тоже не понимаю ...
di_max, статика не получится ... информация постоянно обновляется ...
funnybunny, да как их переписывать то ... это просто не реально дорого ...
а яндекс мог бы немного лояльнее отнестись к индексации ...
от гугла почему то у меня проблем нету как не странно - хотя гугл у меня на сайтах присутствует постоянно ...
да это пхп и мускул :(
о каких приманках речь идёт ... когда сайты в основном старые ...
