Форум Поисковые системы Яндекс

Если закрыты страницы от индексации, как проиндексируются новости? (далее в теме)

P
На сайте с 06.03.2010
Offline
54
pornodump
715

Здравствуйте, такой вопрос:

Если в robots.txt закрыть все страницы, кроме главной, от индексации (Disallow: /page/* ), то проиндексруются ли новости, которые находятся на 2-ой и далее страницах? Т.е. если логически подумать, то получается к ним у робота доступа нет, или я ошибаюсь? Всем спасибо за ответ.

TI
На сайте с 12.01.2011
Offline
38
TehasInco
#1

После переиндексации роботс.тхт из индекса должны вылететь все страницы кроме главной, и по идеи даже если на новости будут стоять внешние ссылки, робот не должен их индексировать.

Urbanoid
На сайте с 20.03.2010
Offline
152
Urbanoid
#2
pornodump:
Здравствуйте, такой вопрос:
Если в robots.txt закрыть все страницы, кроме главной, от индексации (Disallow: /page/* ), то проиндексруются ли новости, которые находятся на 2-ой и далее страницах? Т.е. если логически подумать, то получается к ним у робота доступа нет, или я ошибаюсь?

Все правильно, закрытые от индексации страницы индексироваться не будут

P
На сайте с 06.03.2010
Offline
54
pornodump
#3

Всем спасибо за ответ! все понял )))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий