Форум Практика оптимизации Общие вопросы оптимизации

Как правильно закрыть страницы в robots.txt

B
На сайте с 13.06.2012
Offline
12
benenxp
437

Всем привет! Подскажите, пожалуйста, как правильно закрыть страницы от индексации.

Я поступил следующим образом прописав в robots.txt:

Disallow: /manualy-honda

Disallow: /manualy-yamaha

Disallow: /manualy-suzuki

Disallow: /manualy-kawasaki

Есть ли разница в каком месте в файле разместить закрываемые от индексации страницы?

S6
На сайте с 06.12.2011
Offline
158
SEO
#1
benenxp:
Всем привет! Подскажите, пожалуйста, как правильно закрыть страницы от индексации.

Я поступил следующим образом прописав в robots.txt:

Disallow: /manualy-honda
Disallow: /manualy-yamaha
Disallow: /manualy-suzuki
Disallow: /manualy-kawasaki

Есть ли разница в каком месте в файле разместить закрываемые от индексации страницы?

Правильно, если нужно закрыть только эти 4 страницы (и все те, которые могут быть вида /manualy-honda[любая последовательность символов, испoльзующихся в URL]). Про место в файле - разница есть. Эти директивы должны быть после юзер-агента и до хоста (если он есть). А вообще здесь все написано.

Аудит сайта. Консультации.
Sitemap - как вписать Фатальная ошибка индексирования яндекс http://www.site.ru или без www
B
На сайте с 13.06.2012
Offline
12
benenxp
#2

Спасибо за ответ! Теперь все поправлю и за ссылку отдельное спасибо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий