Небольшой вопрос по Роботс.тхт

Да, в машинах вы разбираетесь лучше, чем в сео

Сам заморосил

Так надо закрыть

Disallow: /category/

И соответственно Disallow: /page/

но и так как у вас работать должно, одно и тоже по факту

На страницах пагинации лучше canonical

Спасибо, а то что много вариаций разных после:

/category/ и /page/ все эти вариации тоже будут закрыты данными способами?:

В машинах шарю хорошо. Есть такое.

---------- Добавлено 09.12.2017 в 22:49 ----------

Вот например у пейджей:

http://*****.ru/category/psixologiya/page/3/

У категорий:

http://******.ru/category/тут разное, название рубрик/

Да

category если закрыли, то http://*****.ru/category/psixologiya/page/3/ и так будет закрыто

указывая Disallow: /category/ вы отсекаете все, что будет после category, т.е даже инструкция Disallow: /page/ не нужна, если у вас page идет только после /category/

Самое верное решение - это зайти в яндекс.вембастер, раздел "Инструменты" -->Анализ robots.txt - http://prntscr.com/hlbfug и проверить урл-адреса, которые должны быть закрыты/открыты от поиска. Так вы поймете, если что-то не так.

katenuha, спасибо большое. Всё понятно теперь.

katenuha, немного глупый вопрос. На всяки. Чтобы точно не параноить.

У меня на сайте настроено ЧПУ, если попадётся статья(и) например:

http://*****.ru/kak-bla-v-category-bla-bla/

http://*****.ru/kak-bla-v-page-bla-bla/

Которые содержат выделенные слова, их вышеупомянутое закрытие в роботсе не затронит?

---------- Добавлено 09.12.2017 в 23:58 ----------

Проверил вебмастером, пишет ошибок 0.

Дело не в ошибках, там внизу страницы есть поле, куда можно вставить ссылку и проверить, закрыта она от поиска или нет. Попробуйте вставить ссылку такого вида и увидите. В посте выше я на скриншоте показал это поле

Отправлено с моего iPhone используя Tapatalk

katenuha, про это поле знаю. Нет у меня пока, что таких статей, чтобы проверить. На сайте быстроробот. Создавать хрень не хочу, чтобы не попало в индекс.

Вопрос из 5го сообщения актуален.

Не затронет

AVMSEE, спасибо. Больше вопросов нет.

Всем привет! Писал вопрос в другой теме, но тут поживее обсуждается все, продублирую, с вашего позволения.

Пара вопросов.

1. Есть роботс, а там строки:

Disallow: /bitrix/

.......

Allow: /bitrix/js

Не закроется ли "Allow: /bitrix/js"?

Что должно стоять выше в списке, если это имеет значение?

UPD. Почитал справку яндекса, вроде правильно так:

Allow: /bitrix/js

......

Disallow: /bitrix/

2. Как закрыть следующие параметры для индексации (disallow) в битриксе:

"show", "order", "name", "price" и "display"?

Эти слова появляются при листинге товаров в каталоге, а это вроде как неочень)

UPD. Во второй вопрос стоит внести уточнение, конечно, я почитал справку яндекса, но меня смущает, что помимо перечисленных мной параметров, в урлах появляются еще символы:

сайт/каталог/раздел-каталога/?sort=SHOWS&order=desc

сайт/каталог/раздел-каталога/?display=block

сайт/каталог/раздел-каталога/?display=list&sort=PRICE&order=desc

Правильно ли мыслю, что надо запилить строки типа:

Disallow: /?sort

Disallow: /?display

???

И сразу еще вопрос, если использую такой замут:

Disallow: /*?*

то все страницы с переменными после слеша, которые будут содержать вопросительный знак, не будут индексироваться ПС?

Заранее спасибо за ответ!