Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по Robots.txt

V
На сайте с 05.02.2013
Offline
6
ventosae
287

Добрый день, подскажите пожалуйста. Если в robots от иднексации закрыт целый каталог, например

/продукт/ , то все страницы из этой папки тоже закрыты от индексации? Развейте сомнения, а то столкнулся с сайтом в котором страницы из закрытой директории в индексе.

Shessmaster
На сайте с 15.10.2007
Offline
240
Shessmaster
#1

Да, все страницы из этой папки закрыты от индексации.

A5
На сайте с 04.09.2013
Offline
0
aceny5
#2

По хорошему если пишите в robots.txt параметр /products/ то робот не должен индексировать страницы которые там содержаться. Другое дело что этот параметр могли прописать после того, как робот всё проиндексировал. Тогда должно пройти время пока они уйдут из индекса.

Платон Щукин об успешной Самые свежие результаты Google 10 критических ошибок SEO
V
На сайте с 05.02.2013
Offline
6
ventosae
#3

Спасибо за ответы! Т.е. возможно, что за-за того, что robots бы создан после индексации пс они есть в выдаче. Получается в будущем они выпадут?

Shessmaster
На сайте с 15.10.2007
Offline
240
Shessmaster
#4
ventosae:
Получается в будущем они выпадут?

Всенепременно выпадут, вы все правильно поняли.

V
На сайте с 05.02.2013
Offline
6
ventosae
#5

Shessmaster, славно! Спасибо за разъяснения :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий