Вопрос по Robots.txt

O
На сайте с 23.12.2019
Offline
0
466

Приветствую всех.

Вопрос наверное совсем идиотский, но я в этом ничего не понимаю, поэтому спрашиваю у вас). В общем есть интернет магазин у которого ссылки на товары специально сделаны в виде ID этого товара. Выглядят это так: site.ru/product/123456/ и т.д.

Почему в виде ID? Для того чтобы запретить их индексацию пока над ними не поработает контент менеджер. Не добавит нормальное название, описание и т.д. так как то что дает поставщик, есть на тысячах сайтах и с таким же плохим описанием (зачастую с ошибками).

После того, как товар карточка товара приведена в нормальный вид, мы задаем ей ЧПУ вида site.ru/product/chernyy-kozhanyy-osheynik-s-karabinom-i-povodkom/

Вопрос такой: Как грамотно запретить в роботсе индексацию товаров у которых числовые значения? Т.е. товары которые после site.ru/product/ имеют числовое значение?

Я пробовал делать это от 0 до 9 таким способом Disallow: /product/*0, это работает, но если у товара в ЧПУ все же есть какое то число, то такой товар не тоже не индексируется (site.ru/product/osheynik-2-metra/)

Вот как решить эту проблему? Нужно запретить индексацию только тех товаров, УРЛ которых полностью состоит из цыфр.

site.ru/product/123456/ - ЗАПРЕТ

site.ru/product/osheynik-2-metra/ РАЗРЕШИТЬ

Заранее спасибо.

W
На сайте с 08.02.2017
Offline
167
#1

чуть гуглежа и вуаля

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
DW
На сайте с 25.06.2018
Offline
18
#2

Главное потом не забыть, что нельзя ЧПУ адрес с цифр начинать

Ivan Glukhov
На сайте с 05.11.2019
Offline
31
#3

И не забывайте, что disallow - это только рекомендация. Обычно он её прошибает по ссылкам на эту страницу, сделайте noindex. Но сначала уберите заперт на сканирование в роботсе, а то он затупит. когда ноуиндекс скушает - запретите и сканирование в роботсе =)

jpg 188824.jpg
Пишу о Яндекс.Директе и маркетинге - не вода (https://xn----8sbbfdb7cdxe8cya.xn--p1ai/)
Станислав Романенко
На сайте с 05.09.2007
Offline
325
#4

Или в .htaccess:


<If "%{QUERY_STRING} =~ m#^product/([0-9]+)/$#">
Header set X-Robots-Tag "noindex"
</If>
Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
I
На сайте с 24.01.2018
Offline
84
#5

А не проще/умнее недоделанные карточки товара вообще на сайте не показывать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий