Форум Практика оптимизации Любые вопросы от новичков по оптимизации

вопрос про robots.txt

M0001
На сайте с 11.05.2011
Offline
4
M0001
351

Всем добрый день, эта тема много раз наверно обговаривалась ну в поиске я не нашел того что нужно, подскажите как запретить индексацию к статьям, нужно прописывать каждую страницу отдельно или можно просто указать каталог где они находятся:confused:

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#1

Ты хоть вид урлов покажи.

Limonadio
На сайте с 19.10.2010
Offline
140
Limonadio
#2

Если все статьи, которые хотите запретить находятся в одном каталоге, то достаточно в robots запретить каталог.

M0001
На сайте с 11.05.2011
Offline
4
M0001
#3
kimberlit:
Ты хоть вид урлов покажи.

http://www.site.ru/catalog/

http://www.site.ru/catalog/stat.php и т.д.

Limonadio спасибо за ответ

Mosart
На сайте с 07.05.2010
Offline
69
Mosart
#4

Можно просто указать каталог.

Однако если потом вид ссылок будет изменен - эти же статьи могут снова оказаться в индексе. Т.е. при подключении модуля ЧПУ нужно будет роботс перепрописывать.

PK
На сайте с 10.04.2011
Offline
6
puKo
#5
M0001:
http://www.site.ru/catalog/
http://www.site.ru/catalog/stat.php и т.д.

Для подобной архитектуры добавьте в файл robots.txt следующую запись:

User-agent: *
Disallow: /catalog/

Файл должен находиться в корневой директории вашего сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий