Как правильно закрыть от индексации раздел???

L
На сайте с 01.11.2012
Offline
167
331

Привет.

На сайте есть раздел /proizvoditel/

Как ПРАВИЛЬНО в роботс.тхт закрыть директивой.

Чтобы и раздел /proizvoditel/ и все входящие в него страницы были закрыты

Нужно ли отдельно каждому поисковику прописывать правило, или отдельно каждому нужно?

Вообщем подскажите на 100% правильную строчку, которая закроет данный раздел и все входящее в него))

спаибо за помощь.

W
На сайте с 18.01.2020
Offline
1
#1

https://www.ashmanov.com/education/articles/zakryt-sajt-ot-indeksatsii-robots-txt/ - статья разъяснит вам основные аспекты

Maks_seo_1992
На сайте с 14.11.2016
Offline
90
#2
limyh:
Как ПРАВИЛЬНО в роботс.тхт закрыть директивой.

Вот так: Disallow: /proizvoditel/

limyh:
Нужно ли отдельно каждому поисковику прописывать правило, или отдельно каждому нужно?

Чего?

Закрывайте в User-agent: * и все.

L
На сайте с 01.11.2012
Offline
167
#3

Спасибо. Это правильный ответ.

ВОт тебе дружок понятный мануал - читай - задавай вопросы

Прочитал:

Вижу следующее:

Запрет индексации

Раздела

User-agent: *

Disallow: /catalog/

и вот такое:

Всего раздела, кроме одного подраздела

User-agent: *

Disallow: /product

Allow: /product/auto

Это как можно понять мой случай. НО (!!!) там не указано, какой именно закроет данный раздел и все что в него входит

Disallow: /catalog/

или

Disallow: /product

т.е. со знаком / в конце или без него((

---------- Добавлено 22.01.2020 в 12:39 ----------

Maks_seo_1992:
Вот так: Disallow: /proizvoditel/


Чего?

Закрывайте в User-agent: * и все.

Спасибо большое за ответ.

А вот хороший человек выше прислал ссылку, в ней я вижу следующее

Запрет индексации

Раздела

User-agent: *

Disallow: /catalog/

и вот такое:

Всего раздела, кроме одного подраздела

User-agent: *

Disallow: /product

Allow: /product/auto

Видишь в одном случае есть в конце /, в другом нет.

Disallow: /catalog/

Disallow: /product

или опечатка.

1)Ты на 150% уверен, что правило указанное тобою - закрое и данный раздел и все что внутри него?

2)что будет если в конце твоего правила убрать / ???

3)разве не нужно после последнего / еще ставить звездочку * ?

Виктор Петров
На сайте с 05.01.2020
Offline
136
#4

Директивы в robots - это всего лишь благие пожелания, обращенные к ПС. Гугл на них последнюю пару лет традиционно кладет. Лучше использовать meta robots: https://yandex.ru/support/webmaster/controlling-robot/meta-robots.html

SEO-аудиты и консультации (https://textarget.ru)
Maks_seo_1992
На сайте с 14.11.2016
Offline
90
#5
limyh:

1)Ты на 150% уверен, что правило указанное тобою - закрое и данный раздел и все что внутри него?

О боже...я все написал, что вам нужно для закрытия, точка.

---------- Добавлено 22.01.2020 в 12:12 ----------

petrov-I:
Гугл на них последнюю пару лет традиционно кладет

Да, есть такое, но для яндекса по прежнему актуально.

L
На сайте с 01.11.2012
Offline
167
#6
Maks_seo_1992:
Вот так: Disallow: /proizvoditel/


Чего?

Закрывайте в User-agent: * и все.

150% что так будет верно? Вот так: Disallow: /proizvoditel/ (что закроет и данную папку и все что дальше в ней находится???

Нисколько не умоляю правоты твоего ответа, но вот что я нашел

Disallow: /admin/ — запрещает индексацию всех страниц, находящихся внутри раздела admin;

Disallow: /help — запрещает индексацию и /help.html, и /help/index.html;

Disallow: /help/ — закрывает только /help/index.html;

или вот

Disallow: /catalog

Allow: /catalog/auto

# запрещает скачивать страницы, начинающиеся с '/catalog',

# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

т.е. видишь: Disallow: /admin/ — запрещает индексацию всех страниц, находящихся внутри раздела admin;

но ничего не говорится закроется ли сам раздел

Maks_seo_1992
На сайте с 14.11.2016
Offline
90
#7
limyh:
150% что так будет верно?

Отвечаю последний раз, ДА!

---------- Добавлено 22.01.2020 в 12:24 ----------

limyh:
но вот что я нашел

Молодец, хвалю, что еще нашел?

---------- Добавлено 22.01.2020 в 12:25 ----------

Maks_seo_1992:
т.е. видишь: Disallow: /admin/ — запрещает индексацию всех страниц, находящихся внутри раздела admin;
но ничего не говорится закроется ли сам раздел

Какой же бред ты пишешь

L
На сайте с 01.11.2012
Offline
167
#8

Спасибо тебе за ответы большое

Но чем отличается

Disallow: /catalog/

от

Disallow: /catalog

??

второй случай разве не закроет все что внутри него или

---------- Добавлено 22.01.2020 в 13:32 ----------

Последний вопрос))

Правило, который ты написал

Вот так: Disallow: /proizvoditel/

закроет прям-всё всё??

Например структура такая

/proizvoditel/toshiba/televizor

Твоя директива закроет и 2й и 3й и т.д. уровни вложенности? или только 2й уровень вложенности (toshiba) ??

Maks_seo_1992
На сайте с 14.11.2016
Offline
90
#9

limyh, Какой же ты надоедливый.

Disallow: /proizvoditel/

Закроет:

/proizvoditel/

/proizvoditel

/proizvoditel/жопа

/proizvoditel/жопа/говно

не закроет

/proizvoditelжопа/

Disallow: /proizvoditel

Закроет:

/proizvoditel/

/proizvoditel

/proizvoditel/жопа

/proizvoditel/жопа/говно

/proizvoditelжопа/

Теперь понял?

L
На сайте с 01.11.2012
Offline
167
#10

ДА, теперь понял тебя на 100%

Но видишь 2й случай (без слеша / ) закрывает вообще все, ничего не упускает :)

Спасибо тебе хороший человек

дай бог тебе здоровья))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий