Как сделать, чтобы робот не индексиовал раздел, но шёл дальше

12
ideaman
На сайте с 25.01.2013
Offline
129
763

Подскажите, как сделать, чтобы робот не индексировал разделы, а индексировал только статьи в них.

К примеру, архив статей: site,com/blog/2012/10/статья1.html статьи дублируются в разделах site,com/blog/2012/10/ и site,com/blog/2012/, как закрыть их лучше, чтобы робот яндекса не индексировал их, а шёл дальше.

На эти разделы ставить "noindex", "follow" или как?

SEO
footballstar
На сайте с 20.07.2010
Offline
94
#1

просто закройте от индексации архив.

Disallow: /2012

Disallow: /2013 и так далее.

[Удален]
#2
footballstar:
просто закройте от индексации архив.

Disallow: /2012
Disallow: /2013 и так далее.

так не всегда помогает

ТСу, <meta name="robots" content="noindex,nofollow" /> поможет

M1
На сайте с 15.11.2007
Offline
127
#3
footballstar:
просто закройте от индексации архив.

Disallow: /2012
Disallow: /2013 и так далее.

Тогда и статьи не будут индексироваться, т.к. адреса у ТС site,com/blog/2012/10/статья1.html.

Если статей не много то можно так:

Disallow: /2012

Disallow: /2013

Аllow: 2012/10/статья1.html

но так придется каждую статью разрешать.

A
На сайте с 04.02.2013
Offline
32
#4

по идее <meta name="robots" content="noindex, follow" /> должно работать, но через robots.txt мне кажется надежнее

kimberlit
На сайте с 13.03.2007
Offline
370
#5

Disallow: /blog/2012/

Allow: /blog/2012/*.html

Ps footballstar, mat1441, в школу...

M1
На сайте с 15.11.2007
Offline
127
#6

Да, кстати, согласен, поспешил. Тогда уж вообще так:

Disallow: /blog/2012/

Allow: /*.html

И, кстати, kimberlit, моя первая конструкция тоже работает, просто не оптимальна.

kimberlit
На сайте с 13.03.2007
Offline
370
#7
mat1441:
Тогда уж вообще так:

Disallow: /blog/2012/
Allow: /*.html

Не сработает... :D

mat1441:

И, кстати, kimberlit, моя первая конструкция тоже работает, просто не оптимальна.

Не работает, т.к. /blog/ нет. И судя по урл - это блог. А править роботс после каждой записи...

M1
На сайте с 15.11.2007
Offline
127
#8

Сработает.

На что спорим?🤪

И при чем здесь, что это блог?

kimberlit:
Ps footballstar, mat1441, в школу...

К себе за парту приглашаете? :)

kimberlit
На сайте с 13.03.2007
Offline
370
#9
mat1441:
Сработает.
На что спорим?

Иди читай ... http://help.yandex.ru/webmaster/?id=996567

mat1441:
И при чем здесь, что это блог?

Ты после каждой записи будешь роботс дописывать? По ссылке выше прочитай про его вес.

M1
На сайте с 15.11.2007
Offline
127
#10

Мы с Вами на брудершафт не переписывались, ну да ладно.

kimberlit:
Ты после каждой записи будешь роботс дописывать?

Зачем дописывать? 😕

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий