Помощь с robots

Z
На сайте с 08.10.2012
Offline
145
892

Здравствуйте!

Есть каталог

site/catalog/item1
site/catalog/item2
site/catalog/item3

Как в robots закрыть от индексации страницу
site/catalog
site/catalog/
но оставить все урлы, в которых есть продолжение - site/catalog/item1

Спасибо.

W1
На сайте с 22.01.2021
Offline
144
#1

Disallow: /site/catalog$
Disallow: /site/catalog/$

Но вообще-то дубли типа  /site/catalog и /site/catalog/ лучше отсекать редиректами.

Мой форум - https://webinfo.guru –Там я всегда на связи
alaev
На сайте с 18.11.2010
Offline
576
#2
webinfo #:
Но вообще-то дубли типа  /site/catalog и /site/catalog/ лучше отсекать редиректами.

Мне вот так тоже нравится больше.

ТС, rel canonical тоже поможет, чтобы аналогичное в индекс не летело.

Продвижение сайтов - https://alaev.net
Z
На сайте с 08.10.2012
Offline
145
#3

Спасибо.

А что конкретно означает $

Допустим * значит все, что угодно

Виктор Петров
На сайте с 05.01.2020
Offline
226
#4
zaxavar #:
А что конкретно означает $

Конец URL. То, что будет после этого знака - не затрагивается.

SEO-аудиты для интернет-магазинов ( https://textarget.ru/seo-audit-sajta/ )
Антоний Казанский
На сайте с 12.04.2007
Offline
445
#5
zaxavar #:

А что конкретно означает $

Допустим * значит все, что угодно

Вы можете решить эту задачу и классическим способом. В справке Яндекса как раз этот случай описан.

Насколько я понимаю, вы хотите временно закрыть индексацию для страницы категории и в этом случае я бы предложил вам закрыть индексацию через noindex в meta теге, сохранив возможность переобхода этой страницы.

И да, судя по указанному вопросу - родительские категории 301-ым редиректом нужно "закрывать" слэшем (/) 

√ SEO продвижение, консалтинг, поиск новых точек роста, экспертный аудит сайтов ( http://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Отзывы ( https://goo.su/9C96 ).
Z
На сайте с 08.10.2012
Offline
145
#6
Антоний Казанский #:

Вы можете решить эту задачу и классическим способом. В справке Яндекса как раз этот случай описан.

Насколько я понимаю, вы хотите временно закрыть индексацию для страницы категории и в этом случае я бы предложил вам закрыть индексацию через noindex в meta теге, сохранив возможность переобхода этой страницы.

И да, судя по указанному вопросу - родительские категории 301-ым редиректом нужно держать "закрывать" слэшем (/) 

Проблема в другом. Из-за бага в коде, когда на странице

site/catalog/item1

пользователь переключает язык сайта, скрипт не отправляет его на страницу

site/en/catalog/item1

а отправляет на страницу

site/catalog

А такой страницы не существует, отдается 404.

W1
На сайте с 22.01.2021
Offline
144
#7
zaxavar #:
Из-за бага в коде

Разберитесь с кодом.

Антоний Казанский
На сайте с 12.04.2007
Offline
445
#8
zaxavar #:

Проблема в другом. Из-за бага в коде, когда на странице

site/catalog/item1

пользователь переключает язык сайта, скрипт не отправляет его на страницу

site/en/catalog/item1

а отправляет на страницу

site/catalog

А такой страницы не существует, отдается 404.

Понятно. Тогда в этому случае конечно надо решать вопрос с исходной причиной, а не со следствием.

Нарушать переобход бота внутри родительского уровня вообще не самая лучшая идея. 

Z
На сайте с 08.10.2012
Offline
145
#9
Антоний Казанский #:

Понятно. Тогда в этому случае конечно надо решать вопрос с исходной причиной, а не со следствием.

Нарушать переобход бота внутри родительского уровня вообще не самая лучшая идея. 

С кодом разберемся, но нужно время на это. Около недели.

А сайт уже запущен. Это как временная мера, разумеется.

D.iK.iJ
На сайте с 26.05.2013
Offline
200
#10
Тогда временно поставить редирект. ))
Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий