Форум Поисковые системы Прочие поисковики

Спутник игнорирует robots.txt

12
K
На сайте с 21.11.2007
Offline
80
kRt
#11
Lini:
Может, потому что правило должно выглядеть так:

Disallow: /stranica.html?*

Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.

для справки: звездочка стоит по дефолту у всех директив в файле роботс.тхт, то есть

Disallow: /stranica.html?* = Disallow: /stranica.html?

A1
На сайте с 04.09.2013
Offline
18
abbat13
#12
chelovekpauk:
Вот тут написано, что robots.txt учитывается. Ещё там написано, куда писать о проблемах.

На заборе тоже бывает написано, а на практике надо просто отправлять в бан подсети 109.207.0.0/20 и 5.143.224.0/21 - невелика будет потеря.

C
На сайте с 18.03.2014
Offline
11
chelovekpauk
#13

Ну если, siarzhuk, сообщал им о проблеме, узнаем, правду пишут, или как "на заборе".

C
На сайте с 18.03.2014
Offline
11
chelovekpauk
#14
siarzhuk:
Я нерезидент. Боюсь, вообще иностранным агентом объявят, в лучшем случае - зарегистрируют по двойному тарифу.

Похоже, обошлись проще...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий