Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Можно ли закрыть такие ссылки в robots.txt?

12
F
На сайте с 21.08.2011
Offline
10
fgqwerty
#11

Сделал так, получилось примерно 110 строк в robots.txt, прошел месяц и в поиск яндекса почему то попали только категории и подкатегории и 3 статьи? всего статей 1200, категорий 10, подкатегорий 50.

Allow: /novosti.html$

Allow: /novosti/kategoriya.html

Allow: /novosti/kategoriya/podkategoriya.html

Allow: /novosti/kategoriya/podkategoriya/*.html$

Disallow: /novosti/

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий