Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос новичка по robots.txt

M
На сайте с 19.08.2015
Offline
34
Mazletop
558

Использую imagecms

Настраиваю robots.txt

Делаю так:

User-agent: *
Disallow: /captcha*
Disallow: /produktsiia
Disallow: /action
Disallow: /news
Disallow: /article
Disallow: /klientam
Host: soyuz-dveri.ru
Sitemap: http://mysite.ru/sitemap.xml

Вот на эти категории ставлю запрет:

Disallow: /captcha*
Disallow: /produktsiia
Disallow: /action
Disallow: /news
Disallow: /article
Disallow: /klientam

Вопрос, страница в этих запрещённых категориях проиндексируются?

например: http://mysite.ru/article/page-1 ?

И ещё, в категории http://mysite.ru/article когда более 15 станиц, вот такие url попадают в поиск:

http://mysite.ru/article/35

Для них нужно отдельно прописывать: Disallow: /article/35 и т.д. ?

Может есть какой то решения для автоматизации?

А rel="canonical" ? как это использовать, и вообще есть ли смысл...

---------- Добавлено 14.02.2016 в 10:52 ----------

Блин.. есть целая тема по роботс... не увидел... извиняюсь.. но вопросы актуальны.

AS
На сайте с 07.11.2014
Offline
24
ai_sn
#1

Вопрос, страница в этих запрещённых категориях проиндексируются?

Да, в вашем случае закрыты от индексации только конкретные страницы.

Исключить вложенные страницы можно, например, так же как вы сделали с адресом: Disallow: /captcha*.

rel="canonical" есть смысл использовать для одинаковых страниц, которые доступны по разным адресам, чтобы исключить дубли.

Если пользуетесь я.вебмастером, проверить обработку правил роботс можно здесь: https://webmaster.yandex.ru/site/robots.xml

Настройка индексирования нового сайта В Яндексе рассказали, как Если разрешить индексацию всего
M
На сайте с 19.08.2015
Offline
34
Mazletop
#2
ai_sn:
Вопрос, страница в этих запрещённых категориях проиндексируются?
Да, в вашем случае закрыты от индексации только конкретные страницы.
Исключить вложенные страницы можно, например, так же как вы сделали с адресом: Disallow: /captcha*.

rel="canonical" есть смысл использовать для одинаковых страниц, которые доступны по разным адресам, чтобы исключить дубли.

Если пользуетесь я.вебмастером, проверить обработку правил роботс можно здесь: https://webmaster.yandex.ru/site/robots.xml

Спасибо, легче стало))

---------- Добавлено 14.02.2016 в 11:32 ----------

Какой то косяк выходит, создаю карту сайта в .xml он не визит ни закрытые категории, ни вложенные страницы.

Выходит что не проиндексируются... Как быть?

M
На сайте с 19.08.2015
Offline
34
Mazletop
#3

Проблему решил, проблемы не было как таковой, это я ....

разработчики двига позаботились изначально.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий