Робот поисковых систем и robots.txt

A8
На сайте с 20.10.2005
Offline
71
261

Если я закрываю страницу в robots.txt, то поисковики ее не индексируют. Это факт.

Вопрос: а ходят ли они на нее и как следствие дальше по ссылкам на такой странице?

Т.е., например:

страница1 ссылается на страницу2

страница2 ссылается на страницу3 (других ссылок на страницу 3 нет)

при этом страница1 и страница3 разрешены для индексации в robots.txt, а страница2 нет. будет ли проиндексирована страница3?

Отличный хостинг для СДЛ. (http://timeweb.ru/?i=7388&a=1) За 3 года работы нареканий нет. Качественный копирайтинг. (http://advego.ru/63cF4d7fzJ) За 2 года заказано более 2000 статей. Ищу авторов (http://www.etxt.ru/alexdr.html) с медицинским образованием. Присылайте примеры ваших работ.
wwwwww
На сайте с 29.04.2011
Offline
195
#1

Ходят.

Умные люди делают sitemap в формате xml для ускорения индексации.

Видишь? Свободная подпись.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий