Как прописать в роботсе одной ссылкой

G
На сайте с 04.09.2010
Offline
59
416

Хочу закрыть профили на сайте.

Ссылки на профили выглядят так:

site.ru/index/8-1

site.ru/index/8-2

site.ru/index/8-3

цифры 1, 2 и 3 на конце это номера профилей.

Как закрыть их всех? Так ли?

Disallow: /index/8 или Disallow: /index/8*

Gzas
На сайте с 05.01.2014
Offline
135
#1

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Правильно: Disallow: /index/8*

Можно ещё вот так: Disallow: /*8-*, при условии, что в других ссылках не встречается "8-".

Для проверки, можно использовать программы xenu, Netpeak Spider и т.п.

AI
На сайте с 26.10.2012
Offline
53
#2

Disallow: /index/8

без звёздочки, т.к. она обрабатывается не во всех спецификациях роботса

А
На сайте с 21.09.2010
Offline
112
#3
Aleks_I:
Disallow: /index/8

без звёздочки, т.к. она обрабатывается не во всех спецификациях роботса

В таком случае Вы закроете от индексации только site.ru/index/8.

А расскажите поподробнее в каких спецификациях роботса звездочка не поддерживается?

Считаю правильным: Disallow: /index/8*

S6
На сайте с 06.12.2011
Offline
158
SEO
#4
Алвель:
В таком случае Вы закроете от индексации только site.ru/index/8.
А расскажите поподробнее в каких спецификациях роботса звездочка не поддерживается?
Считаю правильным: Disallow: /index/8*

С хренали? По результату - это идентичные записи. Что со звездой - что без.

Аудит сайта. Консультации.
S
На сайте с 12.11.2011
Offline
70
#5

я б закрывал через

Disallow: /index/8*

так как яндекс сам дописывает * в конце

гугля понимает символы подстановки

а вот другие всякие роботы могут быть глупее..(мало ли)...

Так что звездочка не помешает :)

RealBig.media (https://realbig.media) - королевский ротатор рекламы, Artellence (https://artellence.com/) - искуственный интелект, нейронная сеть
kimberlit
На сайте с 13.03.2007
Offline
370
#6

Yandex

Google

Хотя вас всех там забанили, наверное...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий