Правильный ли роботс.тхт?

M
На сайте с 13.02.2013
Offline
5
395

Здравствуйте, помогите пожалуйста грамотно составить файл роботс.тхт.

Мне необходимо запретить индексацию всех страниц каталога:

/our-tour_id_1.html

/our-tour_id_2.html

И так далее.

Составил такой файл роботс:

User-agent: *

Disallow: /our-tour_id

Это правильно?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Не очень понятно каким боком тут каталог, но если у всех страниц адреса начинаются так, то правильно.

M
На сайте с 13.02.2013
Offline
5
#2
kimberlit:
Не очень понятно каким боком тут каталог, но если у всех страниц адреса начинаются так, то правильно.

Опять же, может не правильно выразился. у всех страниц меняется только цифра в конце

W
На сайте с 13.12.2007
Offline
89
#3
maybek:
Опять же, может не правильно выразился. у всех страниц меняется только цифра в конце

В вебмастере Google (Состояние -> Заблокированные URL) Вы всегда может протестировать свой robots.txt.

В поле "Содержание" вставляете свой новый robots.txt. В поле "URL-адреса" вставляете адреса страниц для проверки. Нажимаете "Проверить" и смотрите результат.

angr
На сайте с 11.05.2006
Offline
413
#4

так надежней:


User-agent: *
Disallow: /our-tour_id*
webdoctor:
В вебмастере Google (Состояние -> Заблокированные URL) Вы всегда может протестировать свой robots.txt.
В поле "Содержание" вставляете свой новый robots.txt. В поле "URL-адреса" вставляете адреса страниц для проверки. Нажимаете "Проверить" и смотрите результат.

кстати, я совсем забыл за этот сервис, всё правильно, там вы можете проверить любые комбинации

Требуется СЕО-Специалист в Кишиневе, в офис. ()
kimberlit
На сайте с 13.03.2007
Offline
370
#5
angr:
так надежней:

Да бред это про надёжность.

angr
На сайте с 11.05.2006
Offline
413
#6
kimberlit:
Да бред это про надёжность.

вполне возможно, почему нет...

Гугл и на полный запрет индексирования сайта плюёт, урл-ы в выдачи

я на вопрос с старт-поста отвечал, если чё ;)

kimberlit
На сайте с 13.03.2007
Offline
370
#7
angr:
я на вопрос с старт-поста отвечал, если чё

И что есть разница между:

Disallow: /our-tour_id

и

Disallow: /our-tour_id*

? ))) В чём надёжнее?

angr
На сайте с 11.05.2006
Offline
413
#8
kimberlit:
В чём надёжнее?

во втором презервативе ;)

M
На сайте с 13.02.2013
Offline
5
#9

Огромное спасибо вам! Проверил в вм тулс - все вроде работает.

Если вы найдете время на ответ на еще одни мучающие вопросы, буду безумно рад! :)

/ru/forum/773606

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий