Вопрос по Robots.txt

V
На сайте с 05.02.2013
Offline
6
286

Добрый день, подскажите пожалуйста. Если в robots от иднексации закрыт целый каталог, например

/продукт/ , то все страницы из этой папки тоже закрыты от индексации? Развейте сомнения, а то столкнулся с сайтом в котором страницы из закрытой директории в индексе.

Shessmaster
На сайте с 15.10.2007
Offline
240
#1

Да, все страницы из этой папки закрыты от индексации.

A5
На сайте с 04.09.2013
Offline
0
#2

По хорошему если пишите в robots.txt параметр /products/ то робот не должен индексировать страницы которые там содержаться. Другое дело что этот параметр могли прописать после того, как робот всё проиндексировал. Тогда должно пройти время пока они уйдут из индекса.

V
На сайте с 05.02.2013
Offline
6
#3

Спасибо за ответы! Т.е. возможно, что за-за того, что robots бы создан после индексации пс они есть в выдаче. Получается в будущем они выпадут?

Shessmaster
На сайте с 15.10.2007
Offline
240
#4
ventosae:
Получается в будущем они выпадут?

Всенепременно выпадут, вы все правильно поняли.

V
На сайте с 05.02.2013
Offline
6
#5

Shessmaster, славно! Спасибо за разъяснения :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий