Вопрос по файлу роботс.тхт

[Удален]
389

Гуглил не нашёл ответа на свой вопрос, может не так ищу?

Хотелось бы понять, что делает вот эта строка в файле роботс.тхт:

Disallow: */feed

Понятно, что запрещает РСС, но как именно работает? К примеру у меня на сайте есть страницы (ссылки, которые содержат такое "pid", кроме всего прочего) это дубли, я их закрыл так:

Disallow: */pid

Я всё правильно сделал?

Насколько я понимаю эта хрень */primer означает, что не нужно индексировать любые ссылки содержащие слово primer, это так?

N
На сайте с 05.10.2010
Offline
88
#1
LeZ:
Насколько я понимаю эта хрень */primer означает, что не нужно индексировать любые ссылки содержащие слово primer, это так?

Не совсем. Эта хрень означает, что не нужно индексировать любые ссылки, содержащие последовательность символов "/primer".

Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.

Вот тут хелп

[Удален]
#2
nworm:
Не совсем. Эта хрень означает, что не нужно индексировать любые ссылки, содержащие последовательность символов "/primer".

Я это и имел ввиду.

nworm:
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.

Спрошу более конкретно.

У меня на сайте есть ссылки вида "pid=21931" их нужно было закрыть. И есть ссылки вида php?id=6865 нужно чтобы они были открыты.

Я это реализовал так:

Disallow: */pid

Всё правильно сделал?

nworm:
Вот тут хелп

Спасибо. Ща ознакомлюсь.

N
На сайте с 05.10.2010
Offline
88
#3

Да, похоже всё правильно.

Там этот есть Яндекс.Вебмастер. В нём можно смотреть какие страницы запрещены к индексированию, а какие разрешены.

[Удален]
#4
nworm:
Да, похоже всё правильно.

Ок. Спасибо ещё раз за помощь.

wlad2
На сайте с 17.07.2008
Offline
153
#5
У меня на сайте есть ссылки вида "pid=21931" их нужно было закрыть. И есть ссылки вида php?id=6865 нужно чтобы они были открыты.

так у вас ссылки типа /pid=21931?

или у вас ссылки типа php?pid=21931?

если второй вариант, то правильно так

Disallow: *pid=

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий