robots.txt 130 директив - как ведет себя поисковик?

basilic
На сайте с 16.05.2008
Offline
369
701

Сам задал - сам и отвечу, по логике никак. Однако, так уж вышло, что 130 директив в роботсе никогда до этого случая не делал. У кого есть что-то подобное и успокойте вы меню:)

[Удален]
#1

Из-за особенностей движков приходилось прописывать порядка 100 директив, никаких санкций замечено не было, роботы следовали всем указаниям в robots.txt.

Alex91
На сайте с 30.12.2007
Offline
258
#2

basilic, проверьте через я.вебмастер, например. прямо на конкретных примерах

C Уважением, Алексей
naleks
На сайте с 11.06.2008
Offline
69
#3

basilic, АФАЙР, Яндекс читает robots.txt до 32КБ. В вашем случае - это не больше 10 :)

Делал не больше 70, проблем не вызывало. По "маске" (со спецсимволами * и $) сделать не получится, никак?

basilic
На сайте с 16.05.2008
Offline
369
#4
naleks:
basilic, АФАЙР, Яндекс читает robots.txt до 32КБ. В вашем случае - это не больше 10 :)
Делал не больше 70, проблем не вызывало. По "маске" (со спецсимволами * и $) сделать не получится, никак?

Да, да - уже сунули мне в личку мануал. Там 8 сча.

ЗЫ дык по маскам, маскам...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий