Особенности индексации поисковыми системами

Korew
На сайте с 31.12.2007
Offline
195
288

Здравствуйте!

Возник вопрос. Если я закрою страницу от индексации в robots.txt, найдут ли поисковики ссылки, которые будут расположены на этой странице?

Хочу закрыть в DLE все страницы вида /page/2/, /page/3/ и т.д. от индексации, будут ли индексироваться новости, на которые стоят ссылки только с таких страниц?

Спасибо.

кот Бегемот
На сайте с 07.12.2009
Offline
278
#1
Korew:
Здравствуйте!

Возник вопрос. Если я закрою страницу от индексации в robots.txt, найдут ли поисковики ссылки, которые будут расположены на этой странице?
Спасибо.

Вы самостоятельно ответили на этот вопрос -

я закрою страницу от индексации в robots.txt
Яндекс Директ, Гугд адворс, не дорого и ответственно. Телеграмм @H_Ilin
series60
На сайте с 03.02.2009
Offline
92
#2

В роботс вы запретите роботу заходить на данные страницы. Все что там будет, индексироваться не будет.

Создайте html и xml карту, и все проиндексируется.

Korew
На сайте с 31.12.2007
Offline
195
#3

Спасибо за ответы, я просто надеялся. что робот все-таки заходит на такие страницы и переходит дальше по ссылкам, что бы индексировать то, что не запрещено.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий