Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как правильно закрыть в robots.txt?

[Удален]
334

Продвигаемые урлы вида http://site.ru/antivirus/kasperskii

но урл http://site.ru/antivirus представляет собой страницу с короткими анонсами, в данном случае, про разные антивирусы, и только потом можно перейти на нужную продвигаемую страницу

Как закрыть раздел? но при том, чтобы страницы (УВ3) в этом разделе индексировались?

ProgMaster
На сайте с 04.04.2006
Offline
86
ProgMaster
#1

Предположительно, по исходным данным, можно закрыть только файл index.php (или index.html), в общем тот, который у Вас по умолчанию открывается в папке /antivirus/. Доступ к остальным файлам (папкам) останется.

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#2

ТС зачем ее закрывать? Она полная копия site.ru/antivirus/kasperskii, или вам не нужны страницы в поиске?

в robots.txt

User-agent: *

Disallow: /antivirus$

[Удален]
#3
siv1987:
ТС зачем ее закрывать? Она полная копия site.ru/antivirus/kasperskii, или вам не нужны страницы в поиске?

в robots.txt
User-agent: *
Disallow: /antivirus$

почему полная копия?

site.ru/antivirus - представляет собой страницу, где содержится 10 антивирусов с кратким анонсом (пара предложений) и фото.

site.ru/antivirus/kasperskii - конкретно страница, где инфа только про этот антивирус

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий