Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите закрыть страницы в роботсе

12
C
На сайте с 07.07.2016
Offline
34
criticis
432

Добрый день!

Запутался в роботсе и значениях /* и /$

Помогите разобраться.

Есть такие страницы.

1) https://rybabeztrusov.ru/categories/voblery

2) https://rybabeztrusov.ru/categories/voblery/bug-minnow-20mr

3) https://rybabeztrusov.ru/categories/voblery/fleshback-100sp

3) https://rybabeztrusov.ru/categories/voblery/tag/voblery-anglers-republic

4) https://rybabeztrusov.ru/categories/voblery/tag/voblery-anglers-republic/bug-minnow-20mr

5) https://rybabeztrusov.ru/categories/voblery/tag/voblery-anglers-republic/fleshback-100sp

Нужно чтобы:

1.индексировался

2. НЕТ

3. НЕТ

4.индексировался

5.индексировался

6.индексировался

Как правильно прописать в робостсе?

C
На сайте с 23.02.2013
Offline
45
chebj
#1

disallow: /categories/voblery/bug-minnow-20mr

disallow: /categories/voblery/fleshback-100sp

или так

disallow: /voblery/bug-minnow-20mr

disallow: /voblery/fleshback-100sp

C
На сайте с 07.07.2016
Offline
34
criticis
#2

Проблема в том, что их таких около 2000 страниц будет.

Придётся каждую в роботс писать?

C
На сайте с 23.02.2013
Offline
45
chebj
#3

Если добавите в урл дополнительный атрибут любой

Например

/categories/voblery/qwerty/bug-minnow-20mr

/categories/voblery/bug-minnow-20mr/qwerty

и соот-но

disallow: *qwerty*

C
На сайте с 07.07.2016
Offline
34
criticis
#4

тогда он увы добавится и в варианты 1,4,5,6 А они нужны

C
На сайте с 23.02.2013
Offline
45
chebj
#5

А что в advantshop нет возможности изменить урл, только для определенных страниц?

Больше к сожалению не знаю чем помочь.

Можно добавить meta robots, но это трудозатратно.

C
На сайте с 07.07.2016
Offline
34
criticis
#6

Эти страницы создаются в сео-фильтре, который не входит в стандартный функционал цмс

C
На сайте с 23.02.2013
Offline
45
chebj
#7

как вариант,

disallow: /bug-minnow-20mr

...

allow: *tag*

Но опять же будет большой роботс.

---------- Добавлено 10.04.2018 в 11:58 ----------

Я так смотрю у Вас внутренние через tag сделаны

Тогда

disallow: /voblery*

...

allow: /tag*

C
На сайте с 07.07.2016
Offline
34
criticis
#8

а 1 тогда не запретится?

C
На сайте с 23.02.2013
Offline
45
chebj
#9

Точно

disallow: /voblery*

...

allow: /voblery$

allow: /tag*

C
На сайте с 07.07.2016
Offline
34
criticis
#10

вот что тех под. цмс ответили

Если указать в роботе таким образом

disallow: /voblery*

allow: /voblery$

allow: /tag*

то будет зависеть от поисковой системы, какая директива disallow или allow будет принята в приоритете.

Если директива allow в приоритете, то таким образом можно прописать в роботе.

Но если disallow, то нет возможности одновременно закрыть от индексации

2) https://rybabeztrusov.ru/categories/voblery/bug-minnow-20mr

3) https://rybabeztrusov.ru/categories/voblery/fleshback-100sp

и открыть

1) https://rybabeztrusov.ru/categories/voblery

4) https://rybabeztrusov.ru/categories/voblery/tag/voblery-anglers-republic

5) https://rybabeztrusov.ru/categories/voblery/tag/voblery-anglers-republic/bug-minnow-20mr

6) https://rybabeztrusov.ru/categories/voblery/tag/voblery-anglers-republic/fleshback-100sp

Можно только закрыть таким образом disallow: /voblery*

---------- Добавлено 10.04.2018 в 14:03 ----------

😕 и как быть...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий