Все вопросы по robots.txt

Категорий и покатегорий много. для закрытия как раз используется именно -ru.html т.к. в других структурах точное вхождение не применяется. чем плохо, если роботы пройдут даже по этой ссылке, но будут знать, что она закрыта для индекса?

montiorko, вы так виевато выражаете мысль, что не очень ясно, чего хотите? Роботы и так пройдут, закрыта или нет, дальше то что?

И снова здравствуйте! Я тут перерыл всю метрику и не смог найти, где же там посмотреть статистику для отдельной страницы. Не могли бы вы помочь? Может ссылочкой какой полезной поделитесь?

Подскажите пожалуйста, как правильно будет закрыть от индекса подобные url?

Всем + в карму

Спасибо

Приветствую!

Назрела парочка вопросов.

На сайте имеется категория "лучшее", которая частично дублирует основную категорию (а пока контента мало дублирует почти полностью).

Нужно ли её закрыть: Disalow /luchshee

В индекс случайно попала sample-page - шаблонная вордпрессовская страница... не уследил (

Теперь я её удалил, а она всё равно в индексе и кажет 404.

Как лучше поступить: закрыть её Disalow /sample-page - должна же пропасть из индекса, верно?

Или сделать каким-то образом с неё редирект на главную?

Я бы не стал закрывать если категория является акцептором и собирает трафик.

Если основная категория является акцептором и собирает трафик, возможно, дублирующая категория покажется ПС более релевантной, тогда логика в закрытии есть.

Если сервер отдает код 404, то страница пропадет с индекса сама. 301 редирект стоит делать в случае, если на страницу был входящий трафик, или входящие ссылки.

чтобы перенаправить трафик \ ссылки на нужный акцептор.

Дело в том, что на странице категории размещены отрывки статей (стандартный блоговый шаблон), а так как статьи в этих категориях практически одни и те же, получается мы имеем две страницы практически копии друг друга.

Radical_R:
Подскажите пожалуйста, как правильно будет закрыть от индекса подобные url?



Всем + в карму
Спасибо

Так дално прокатить.

Disallow: /*?*
Allow: /*?PAGEN_*

можно попробывать на странице категории закрыть текст превью в <noindex><p></p></noindex>

Добрый день, хочу узнать как бы правильно закрыть от индексации страницы сайта, например:

Страница сортировки по цене

мойсайт.ру/каталог/категория/order_type=price/order_dir=asc

жирным выделена сортировка, которая мне не нужна в индексе.

________________________________________________

Страницы 2, 3, 4 и т.д.

мойсайт.ру/каталог/категория?start=36

жирным выделена сортировка по странице.

__________________________________________________

Хочу запретить роботу смотреть это во всех категориях

Благодарен за помощь!