Форум Поисковые системы Яндекс

Ув. Яндекс усмирите своих роботов плз.

1 23456
[Удален]
#41

FreeMarket, вам уже который раз говорят - кусок лога в студию.

p.s. ну и роботс конечно неверный.

FM
На сайте с 21.04.2004
Offline
125
FreeMarket
#42
Miha Kuzmin (KMY):
p.s. ну и роботс конечно неверный.

хм ... надо так Disallow: folder ?

да что логи - логи нормальные .. я что не знаю яндекс роботов ... никто контент не тянет каждую ночь ...

просто смысл давать такую нагрузку на сервер, а потом выбрасывать сайты из базы ...

потом через ап два возвращать ...

вот такую картинку я вижу каждую ночь ...

gif 1.gif
[Удален]
#43

Надо делать не site.com/id/folder/ а site.com/folder/id, тогда и проблем бы не было. Так айпишники из его подсетей ?

S
На сайте с 28.10.2005
Offline
312
semenov
#44
FreeMarket:

чего то мне не понятно ... чего яндекс лезет в папки который запрещены для индексции ...
или я роботс кривой даю :(
Disallow: /folder

я так понимаю в папки с таким названием никто не должен лезть ?
или это от корня ?
у меня папки такого вида site.com/id/folder/

Тогда уж так: Disallow: /id/folder

FM
На сайте с 21.04.2004
Offline
125
FreeMarket
#45

Miha Kuzmin (KMY), semenov,

я понимаю ... но поезд уехал ...

вот смотрите самый нижний график ... всё было спокойно долго и нудно ... но вот с марта нагрузка, что то сильно возросла ... хотя никакие работы на сервере не велись ...

с чего бы это ...

то что контент тянут каждую ночь я сомневаюсь ...

gif 2.gif
S
На сайте с 28.10.2005
Offline
312
semenov
#46

Кусок логов выложте

FM
На сайте с 21.04.2004
Offline
125
FreeMarket
#47

вот хороший кусок лога ...

тупо дос атака ... и это только на один сайт ... а если все сайты ... то это вот и получается такая нагрузка ...

и спрашивает какого индексировать сайт ... если Яндекс на него трафика даёт кот наплакал 50 - 100 хостов от силы ... так как какого то Яндекс взял и зафильтровал старый сайт ...

87.250.254.28 - - [16/May/2007:00:40:16 -0400] "GET /65181_303.html HTTP/1.1" 200 19548 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:18 -0400] "GET /88914_381.html HTTP/1.1" 200 19230 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:19 -0400] "GET /81158_283.html HTTP/1.1" 200 18949 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:21 -0400] "GET /79761_283.html HTTP/1.1" 200 19014 "-" "Yandex/1.01.001 (compatible; Win16; I)"

66.249.72.130 - - [16/May/2007:00:40:22 -0400] "GET /sec/253.html HTTP/1.1" 200 31077 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

87.250.254.28 - - [16/May/2007:00:40:23 -0400] "GET /85185_340.html HTTP/1.1" 200 18742 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:24 -0400] "GET /40543_309.html HTTP/1.1" 200 19085 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:26 -0400] "GET /45422_197.html HTTP/1.1" 200 19123 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:27 -0400] "GET /74293_283.html HTTP/1.1" 200 19208 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:29 -0400] "GET /sec/249_p270_offer.html HTTP/1.1" 200 31424 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:31 -0400] "GET /58865_291.html HTTP/1.1" 200 17920 "-" "Yandex/1.01.001 (compatible; Win16; I)"

74.6.69.34 - - [16/May/2007:00:40:32 -0400] "GET /66225_299.html HTTP/1.0" 200 19088 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

66.249.72.130 - - [16/May/2007:00:40:32 -0400] "GET /sec/257.html HTTP/1.1" 200 25660 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

87.250.254.28 - - [16/May/2007:00:40:33 -0400] "GET /89116_264.html HTTP/1.1" 200 19211 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:35 -0400] "GET /sec/310_p0_buyer.html HTTP/1.1" 200 29067 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:36 -0400] "GET /80239_347.html HTTP/1.1" 200 18900 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:38 -0400] "GET /77382_282.html HTTP/1.1" 200 19173 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:40 -0400] "GET /56090_191.html HTTP/1.1" 200 18891 "-" "Yandex/1.01.001 (compatible; Win16; I)"

66.249.72.130 - - [16/May/2007:00:40:41 -0400] "GET /add_mes249.html HTTP/1.1" 200 19364 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

87.250.254.28 - - [16/May/2007:00:40:42 -0400] "GET /sec/347_p220.html HTTP/1.1" 200 31272 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:44 -0400] "GET /sec/354_p310.html HTTP/1.1" 200 31452 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:46 -0400] "GET /71741_284.html HTTP/1.1" 200 18751 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:48 -0400] "GET /sec/250_p220_offer.html HTTP/1.1" 200 22295 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.254.28 - - [16/May/2007:00:40:49 -0400] "GET /64797_375.html HTTP/1.1" 200 19152 "-" "Yandex/1.01.001 (compatible; Win16; I)"

66.249.72.130 - - [16/May/2007:00:41:01 -0400] "GET /90604_340.html HTTP/1.1" 200 18871 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

74.6.71.160 - - [16/May/2007:00:41:08 -0400] "GET /sec/360_buyer.html HTTP/1.0" 200 29784 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

87.250.230.8 - - [16/May/2007:00:42:06 -0400] "GET /56255_191.html HTTP/1.1" 200 18375 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:07 -0400] "GET /44726_272.html HTTP/1.1" 200 18782 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:09 -0400] "GET /sec/272_p770_offer.html HTTP/1.1" 200 29253 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:11 -0400] "GET /37201_178.html HTTP/1.1" 200 18451 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:12 -0400] "GET /51823_198.html HTTP/1.1" 200 19195 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:14 -0400] "GET /36706_340.html HTTP/1.1" 200 19365 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:15 -0400] "GET /40400_202.html HTTP/1.1" 200 21301 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:17 -0400] "GET /58856_272.html HTTP/1.1" 200 19018 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:19 -0400] "GET /sec/191_p8460_offer.html HTTP/1.1" 200 28953 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:20 -0400] "GET /44432_228.html HTTP/1.1" 200 16318 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:22 -0400] "GET /41013_340.html HTTP/1.1" 200 18549 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:24 -0400] "GET /58861_191.html HTTP/1.1" 200 19127 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:25 -0400] "GET /52235_178.html HTTP/1.1" 200 18885 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:27 -0400] "GET /41360_299.html HTTP/1.1" 200 18845 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:28 -0400] "GET /57639_272.html HTTP/1.1" 200 19502 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:30 -0400] "GET /48378_273.html HTTP/1.1" 200 18641 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:32 -0400] "GET /56920_191.html HTTP/1.1" 200 17901 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:33 -0400] "GET /52530_178.html HTTP/1.1" 200 19030 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:35 -0400] "GET /42510_228.html HTTP/1.1" 200 19291 "-" "Yandex/1.01.001 (compatible; Win16; I)"

87.250.230.8 - - [16/May/2007:00:42:36 -0400] "GET /42309_340.html HTTP/1.1" 200 18680 "-" "Yandex/1.01.001 (compatible; Win16; I)"

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Отчет о конференции User
jackal
На сайте с 27.04.2006
Offline
80
jackal
#48
Miha Kuzmin (KMY):
Особенно учитывая, что яндекс вообще некорректно обрабатывает 304-ю, уже довольно долгое время.

Всё он понимает и корректно обрабатывает. Хавает last-modified, потом спрашивает if-modified, получает 304 и уходит довольный.

Партнерка metaprofit.net (https://metaprofit.net/)
S
На сайте с 28.10.2005
Offline
312
semenov
#49
FreeMarket:

вот хороший кусок лога ...
тупо дос атака ...

И где ДоС? Невижу

GO
На сайте с 21.04.2007
Offline
43
GrOm!
#50
jackal:
Всё он понимает и корректно обрабатывает. Хавает last-modified, потом спрашивает if-modified, получает 304 и уходит довольный.

У меня так два сайта из индекса вылетело после 304... Платон даже сказал сделай 200 и все будет ок.

WebII Lab (http://webii.ru/) Короткий урл (http://py6.ru/) Обои (http://b000.ru/)
1 23456

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий