открытие для индексации в Robots.txt

12
E3
На сайте с 05.12.2010
Offline
26
1221

Здравствуйте. Возник такой вопрос.

У меня есть интернет магазин (партнерка) на 1500 товаров , логично контент не уникальный. Я закрыл его в роботе Disallow: /shop, а теперь хочу открыть только некоторые товары в которых я переписал текст, например /shop/товар, можно ли как то это сделать?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Allow: /shop/товар

Disallow: /shop/

E3
На сайте с 05.12.2010
Offline
26
#2
kimberlit:
Allow: /shop/товар
Disallow: /shop/

Пробовал, проверил через яндекс Вебмастер, пишет что закрыта условием /shop

iguania
На сайте с 10.12.2010
Offline
72
#3
elf39:
Пробовал, проверил через яндекс Вебмастер, пишет что закрыта условием /shop

Сразу скажу, что я могу ошибаться, но возможно нужен здесь слеш

Allow: /shop/товар/

Если не помог, то уж не судите строго)

Все всегда заканчивается хорошо. Если все закончилось плохо, значит, это еще не конец…
Цахес
На сайте с 15.03.2007
Offline
205
#4
elf39:
Пробовал, проверил через яндекс Вебмастер, пишет что закрыта условием /shop

Конструкция вполне себе рабочая, значит допустили ошибки при составлении. Важен порядок директив Allow и Disallow.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
iguania
На сайте с 10.12.2010
Offline
72
#5

elf39, как получиться, отпишитесь, пожалуйста, что и как помогло. Хотелось бы знать как правильно выходить из данной ситуации

E3
На сайте с 05.12.2010
Offline
26
#6
Цахес:
Конструкция вполне себе рабочая, значит допустили ошибки при составлении. Важен порядок директив Allow и Disallow.

Всем спасибо, что откликнулись помогло, ошибка была, в кодировке, достала уже. Последнее слово было по русски, вот его и исковеркало. Еще один вопрос а в какой кодировке робот должен быть?

kimberlit
На сайте с 13.03.2007
Offline
370
#7

-------------

K
На сайте с 31.01.2001
Offline
737
#8
elf39:
в какой кодировке робот должен быть?

Латинскими символами без всяких кодировок.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
E3
На сайте с 05.12.2010
Offline
26
#9
Kost:
Латинскими символами без всяких кодировок.

А русские, не могут быть? А как тогда зона РФ?

siv1987
На сайте с 02.04.2009
Offline
427
#10
elf39:
А русские, не могут быть? А как тогда зона РФ?

url encode

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий