Запрет индекса через роботс

K
На сайте с 14.07.2010
Offline
6
618

Подскажите пожалуйста как запретить документы к индексации такого типа:

site.ru/razdel/any_urls.php

или

site.ru/razdel/any_urls/

Но нужно чтобы индексировался раздел site.ru/razdel/

:crazy:

S
На сайте с 28.10.2005
Offline
319
#1

User-agent: *

Disallow: /razdel/any_urls

VF
На сайте с 26.01.2002
Offline
113
VF
#2

Если any_urls могут быть совершенно любыми, но они на английском, то можно вписать их начальные буквы или просто перечислить весь алфавит:

User-agent: *

Disallow: /razdel/a

Disallow: /razdel/b

Disallow: /razdel/c

Disallow: /razdel/d

и т.д. Ведь при анализе robots ищется совпадение по началу адреса. А вообще нужно было заранее думать о структуре сайта и сделать отдельную директорию для этих не желательных для индексации адресов.

K
На сайте с 14.07.2010
Offline
6
#3
semenov:
User-agent: *
Disallow: /razdel/any_urls

Таких урлов просто больше сотни и все разные... в том то и дело..(

K
На сайте с 31.01.2001
Offline
737
#4
Katerinka:
Но нужно чтобы индексировался раздел site.ru/razdel/

Если под словом "раздел" имеется в виду не весь раздел, а только его главная страница:

User-agent: *

Allow: /razdel/$

Disallow: /razdel/

Читайте сначала мануал на help.yandex.ru . Что за привычка лезть на форум, не открыв букваря?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
K
На сайте с 14.07.2010
Offline
6
#5
Kost:
Если под словом "раздел" имеется в виду не весь раздел, а только его главная страница:

User-agent: *
Allow: /razdel/$
Disallow: /razdel/

Читайте сначала мануал на help.yandex.ru . Что за привычка лезть на форум, не открыв букваря?

Спасибо. 😆

K
На сайте с 31.01.2001
Offline
737
#6

Наздоровье :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий