Форум Практика оптимизации Любые вопросы от новичков по оптимизации

робот тхт правильная индексация

12
V
На сайте с 15.02.2010
Offline
52
vlv
#11

Да но важнее страницы чем анонсы.

trahtor
На сайте с 06.12.2005
Offline
426
trahtor
#12
vlv:
Да но важнее страницы чем анонсы.

Яндекс нормально определяет релевантные страницы. Не страдайте фигней. По Вашей логике надо закрыть и категории у сайтов.

Flint Eastwood
На сайте с 22.10.2012
Offline
5
Flint Eastwood
#13

Замечал, кстати, что на сайтах с неуникальным контентом была подобная проблема - в выдаче находились страницы категорий или разделов с анонсами материалов. Сами материалы были копипастом, одиночные страницы в индекс не попадали. ТС, у Вас тексты уникальные?

Яндекс Маркет обновил управление ВКонтакте расширяет возможности настройки «Андромеда»: больше уникального контента
К
На сайте с 01.12.2012
Offline
2
карась
#14
vlv:

А как закрыть категории?
это страница 19 категории caйт/news/page/19/

Disallow: /news/page/#

так?

Так может Вам просто нужно закрыть постраничную навигацию?

Это выглядит так:

Disallow: /*page/*

- будут индексироваться все статьи сайта плюс только первые страницы категорий.

vlv:
Добрый день коллеги.
2. Как правильно закрыть индексацию профилей на форуме через робот. тхт?

Если профили в каталоге user/, пишем так:

Disallow: /user/

Если нужно оставить к индексации профиль админа, добавляем:

Allow: /user/Administrator

где Administrator - действующий ник админа

Я знамя зеленое видел через прицел
Новые стандарты для директивы OpenAI разрешила сайтам закрывать Яндекс внес изменения в
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий