Форум Поисковые системы Яндекс

Запретить индексировать все, кроме главной и несткольких внутряков

S
На сайте с 12.11.2006
Offline
99
Schoolly
1364

На сайте около 500 страниц контента, и постоянно появляются новые страницы.

Нужно каким то образом запретить Яндексу индексировать все страницы, кроме главной и небольшой часты старых страниц.

Гугл должен индексить все, как и раньше.

Помогите с решением плиз.

Здесь могла бы быть Ваша реклама.
SR
На сайте с 12.09.2011
Offline
20
SnowRed
#1

В robots.txt


User-agent: Yandex
Allow: /(тут путь к главной странице)
Allow: /(туть путь к старым страницам)
Disallow: /
S
На сайте с 12.11.2006
Offline
99
Schoolly
#2

но путь к главной это и есть Allow: /

получиться коллизия

Allow: /

Disallow: /

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#3

User-agent: Yandex

Allow: /$

Allow: /(тут путь к старым страницам)

Disallow: /

Sattt
На сайте с 12.04.2008
Offline
131
Sattt
#4
kimberlit:
User-agent: Yandex
Allow: /$
Allow: /(тут путь к старым страницам)
Disallow: /

Интересно, а символ "$" в длину директивы засчитывается? В хелпе этого нет, хотя сделать и проверить через аддурилку не проблема.

S
На сайте с 12.11.2006
Offline
99
Schoolly
#5

Нашел решение вроде бы

вывод <meta name="yandex" content="noindex,nofollow" /> на всех страницах, кроме нужных)

Sattt
На сайте с 12.04.2008
Offline
131
Sattt
#6
Schoolly:
Нашел решение вроде бы
вывод <meta name="yandex" content="noindex,nofollow" /> на всех страницах, кроме нужных)

kimberlit предложил решение лучше. Робот 1 раз зайдет в robots, прочитает правило, и не будет пытаться проиндексировать лишнее. В случае с метатегом ему придется смотреть каждую страницу, чтобы увидеть запрет.

S
На сайте с 12.11.2006
Offline
99
Schoolly
#7

Сделал по совету kimberlit , за что всем и благодарен.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий