robots.txt - как принудительно индексировать нужные страницы в закрытой директории ?

regem
На сайте с 25.11.2013
Offline
61
355

Здравствуйте, наполняю сайт - каталог - магазин товаром, уже около 300 страниц, 90% это страницы с товаром.

Из 300 стр. оптимизировано примерно 50.

Сейчас я скрыл все неоптимизированные страницы в robots.txt, путем закрытия директорий, но по мере оптимизации страниц их надо открывать для индекса, а они все в 1-м месте.

Вопрос, как правильно прописывать исключение в robots.txt чтоб из закрытой директории, можно было разрешено индексировать указанные страницы ?

к примеру:

User-Agent: *

Disallow: /tovar1

Disallow: /tovar2

как мне указать (прописать) что в этих папках есть страницы которые можно индексировать ?

к примеру есть:

www.site.ru/tovar1/9-kartochka-tovara-1

www.site.ru/tovar1/19-kartochka-tovara-2

www.site.ru/tovar2/29-kartochka-tovara-3

www.site.ru/tovar2/39-kartochka-tovara-4

Вот как мне можно прописать эти страницы исключения, чтоб не открывать всю директорию ? так как там еще много не оптимизированных страниц !

Спасибо буду очень ждать ответа !

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий