Помощь с robots

zaxavar
На сайте с 08.10.2012
Offline
166
893

Здравствуйте!

Есть каталог

site/catalog/item1
site/catalog/item2
site/catalog/item3

Как в robots закрыть от индексации страницу
site/catalog
site/catalog/
но оставить все урлы, в которых есть продолжение - site/catalog/item1

Спасибо.

ВМЕСТО или ВМЕСТЕ с ADSENE - ADSTERRA - https://publishers.adsterra.com/referral/wf8uqXSYuu Раcскажу, подскажу.
W1
На сайте с 22.01.2021
Offline
283
#1

Disallow: /site/catalog$
Disallow: /site/catalog/$

Но вообще-то дубли типа  /site/catalog и /site/catalog/ лучше отсекать редиректами.

Мой форум - https://webinfo.guru –Там я всегда на связи
alaev
На сайте с 18.11.2010
Offline
693
#2
webinfo #:
Но вообще-то дубли типа  /site/catalog и /site/catalog/ лучше отсекать редиректами.

Мне вот так тоже нравится больше.

ТС, rel canonical тоже поможет, чтобы аналогичное в индекс не летело.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
zaxavar
На сайте с 08.10.2012
Offline
166
#3

Спасибо.

А что конкретно означает $

Допустим * значит все, что угодно

Виктор Петров
На сайте с 05.01.2020
Offline
240
#4
zaxavar #:
А что конкретно означает $

Конец URL. То, что будет после этого знака - не затрагивается.

Антоний Казанский
На сайте с 12.04.2007
Offline
615
#5
zaxavar #:

А что конкретно означает $

Допустим * значит все, что угодно

Вы можете решить эту задачу и классическим способом. В справке Яндекса как раз этот случай описан.

Насколько я понимаю, вы хотите временно закрыть индексацию для страницы категории и в этом случае я бы предложил вам закрыть индексацию через noindex в meta теге, сохранив возможность переобхода этой страницы.

И да, судя по указанному вопросу - родительские категории 301-ым редиректом нужно "закрывать" слэшем (/) 

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
zaxavar
На сайте с 08.10.2012
Offline
166
#6
Антоний Казанский #:

Вы можете решить эту задачу и классическим способом. В справке Яндекса как раз этот случай описан.

Насколько я понимаю, вы хотите временно закрыть индексацию для страницы категории и в этом случае я бы предложил вам закрыть индексацию через noindex в meta теге, сохранив возможность переобхода этой страницы.

И да, судя по указанному вопросу - родительские категории 301-ым редиректом нужно держать "закрывать" слэшем (/) 

Проблема в другом. Из-за бага в коде, когда на странице

site/catalog/item1

пользователь переключает язык сайта, скрипт не отправляет его на страницу

site/en/catalog/item1

а отправляет на страницу

site/catalog

А такой страницы не существует, отдается 404.

W1
На сайте с 22.01.2021
Offline
283
#7
zaxavar #:
Из-за бага в коде

Разберитесь с кодом.

Антоний Казанский
На сайте с 12.04.2007
Offline
615
#8
zaxavar #:

Проблема в другом. Из-за бага в коде, когда на странице

site/catalog/item1

пользователь переключает язык сайта, скрипт не отправляет его на страницу

site/en/catalog/item1

а отправляет на страницу

site/catalog

А такой страницы не существует, отдается 404.

Понятно. Тогда в этому случае конечно надо решать вопрос с исходной причиной, а не со следствием.

Нарушать переобход бота внутри родительского уровня вообще не самая лучшая идея. 

zaxavar
На сайте с 08.10.2012
Offline
166
#9
Антоний Казанский #:

Понятно. Тогда в этому случае конечно надо решать вопрос с исходной причиной, а не со следствием.

Нарушать переобход бота внутри родительского уровня вообще не самая лучшая идея. 

С кодом разберемся, но нужно время на это. Около недели.

А сайт уже запущен. Это как временная мера, разумеется.

D.iK.iJ
На сайте с 26.05.2013
Offline
225
#10
Тогда временно поставить редирект. ))
Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий