Форум Поисковые системы Яндекс

Как прописать robots.txt

C
На сайте с 24.06.2006
Offline
129
chomax
867

Подскажите как правильно прописать параметры в robots

По какой то причине CMS делает страницы

site.ru/catalog/123-3.html

site.ru/catalog/123-2.html

site.ru/catalog/123.html

Страницы идентичны - в индексе надо оставить только site.ru/catalog/123.html

как это прописать в роботсе?

Эффективное продвижение сайтов - www.sivov.ru (www.sivov.ru)
M
На сайте с 11.07.2011
Offline
31
masterblack
#1

Disallow: /catalog/123-$

BIGHOSTER.RU - качественный хостинг провайдер, цены от 35 руб/месяц. (http://bighoster.ru/?r4332)
novitskii
На сайте с 11.06.2006
Offline
69
novitskii
#2

Disallow: /catalog/123-*

Продаю очень крутой движок для музыкальных сайтов. По вопросам в icq.
Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#3

Для конкретного случая:

Disallow: /catalog/123-

($ в конце как раз не нужен, а * идет перед переносом строки "по-умолчанию"), для общего:

Disallow: /catalog/*-

KD
На сайте с 12.07.2007
Offline
37
krotov.dima
#4
masterblack:
Disallow: /catalog/123-$

Не правильный вариант.

Вот правильный:

User-agent: *

Disallow: /catalog/123-

C
На сайте с 24.06.2006
Offline
129
chomax
#5

Спасибо

Но моделей то около 1000

Соответственно 123 надо прописать 100 раз?

Или так

Disallow: /catalog/*-*

KD
На сайте с 12.07.2007
Offline
37
krotov.dima
#6

Как вариант еще

User-agent: *

Disallow: /catalog/*-*.html

Результат:

site.ru/catalog/123-3.html запрещен правилом /catalog/*-*.html*

site.ru/catalog/123-2.html запрещен правилом /catalog/*-*.html*

site.ru/catalog/1223-22.html запрещен правилом /catalog/*-*.html*

site.ru/catalog/123.html разрешен

site.ru/catalog/123-23/ разрешен

K
На сайте с 31.01.2001
Offline
737
Kost
#7
chomax:
Но моделей то около 1000
Соответственно 123 надо прописать 100 раз?

Не тупите, вам уже написали:

Fruit:
Disallow: /catalog/*-
chomax:
Disallow: /catalog/*-*

Звездочку на конце писать не нужно.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий