Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt: закрыть конкретный каталог на n-ом уровне вложенности

1 23
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#21
Reise:
У меня все они и со сниппетами и с кешами. Индексируются как обычный страницы не смотря на запреты в роботсе.

Тогда либо у вас проблемы с роботсом, либо бот посещал страницы до того как появился запрет на индексацию. Раз уже попали в индекс придется ждать. Со временем они выпадут. За "день" они точно не исчезнут. Недели две стабильно продержатся, смотря как часто бот посещает сайт.

Джон Мюллер о восстановлении Трафиковые статьи от WebArtex. Live Search пострадал от
R
На сайте с 22.06.2007
Offline
174
Reise
#22
siv1987:
Тогда либо у вас проблемы с роботсом, либо бот посещал страницы до того как появился запрет на индексацию. Раз уже попали в индекс придется ждать. Со временем они выпадут. За "день" они точно не исчезнут. Недели две стабильно продержатся, смотря как часто бот посещает сайт.

Это не так. Гугл успешно продолжает набирать в индекс страницы вида /photo-id хотя в роботсе правило:

Disallow: /photo*

Кстати страницы вида */torrent/* исчезли с индекса. Пока что вижу, что панацея в метатеге <meta name="robots" content="noindex" />. Именно после его установки на страницы вида */torrent/* они выпали с индекса - причем за 1 день.

Попробую установить этот метатег на страницы вида /photo*. О результатах отпишу.

Panda 4.1. Открывать ли сразу весь <meta name="robots" content="noindex">
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий