sitemap

L5
На сайте с 28.01.2012
Offline
37
289

Здравствуйте, на сайте в robots.txt прописано правило (Disallow: /*?), с которым робот не сможет найти кое-какие страницы на сайте, например, через постраничную навигацию.

Зато такие страницы есть в sitemap.

Можно ли так делать? В конечном итоге, такие страницы должны быть проиндексированы, но исключить из индекса страницы с навигацией и тп

Пример:

http://sait.ru/catalog/?page=10 - не индексировать

http://sait.ru/catalog/3/ - индексировать, но робот не сможет найти ее на сайте, по этому прописал такие страницы в sitemap

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий