Все вопросы по robots.txt

да, данным правильном вы закроете такой урл. Звездочку в конце можно и не ставить.

либо так:

User-agent: *

Disallow: *&MY_REQUEST_URI=

---------- Добавлено 26.09.2014 в 09:10 ----------

все верно, звездочку в конце можно и не ставить.

Добрый день!

Начал анализировать проиндексированные страницы сайта и обнаружил следующие моменты:

1. На сайте создан раздел - каталог с видео.. ссылка на объект (видео) имеет следующую структуру - сайт.ру/video/item/-n-/

так вот обнаружил что в поиске попадаются следующие страницы:

- сайт.ру/video/item/-n-/

- сайт.ру/video/item/-n-/?to=2/

причем если есть страница с */?to=2/ - то в поиске нет нормальной с адресом сайт.ру/video/item/-n-/

не пойму откуда берется этот /?to=2/ ???

Как избавиться от этого /?to=2/ в поиске оставив только нормальную ссылку на объект?

1.1. каждый объект каталога видео имеет возможность получить код iframe для вставки его по тексту в любом другом месте, например при написании статьи - _<iframe src="http://сайт.ру/video/frame/-n-/?width=570" width="570" height="200"></iframe>

так вот в поиске присутствуют все iframe к каждой странице видео, такого вида - сайт.ру/video/frame/-n-/?width=570

Стоит ли закрыть от индекса эти страницы с iframe ?

Правильно ли для каждой пс robots прописывать отдельно?

Например сейчас прописано так:

Или достаточно только так?

Везде закрытые папки одинаковы.

Если

И по индексации требования к разным пс одинаковы, то

достаточно.

Т.е. User-agent: * это будут настройки для всех пс?

Да, и в этом ничего плохого.

Как быстро после изменения в robots.txt дубли страниц и прочий мусор пропадет из индексации яндекса? У меня уже 2 недели прошло, а в вебмастере и так индексируется папка и страницы из нее , которые я закрыл в robots ? Папка обычная в корне сайта - то есть ошибиться и написать не так ничего точно не мог

Борис С, ждать можно сколько угодно.

Возможно вебмастер не обновился, проверьте выдачу в ручную.

---------- Добавлено 13.10.2014 в 10:05 ----------

1) Закрывается, общее правило:

User-agent: *

Disallow: */?to=2

Частное правило:

User-agent: *

Disallow: /video/item/-n-/?to=2

Можно и так и так, разница лишь в том, что первое закроет на всем сайте, второе закроет в конкретной категории.

В поиск попадает 1 из страниц, поэтому когда уберете дубль, в индексе будут правильные страницы. Появляются из-за особенности CMS.

1.1 Они на данный момент индексируются?

bulatbulat48

По п.1. кажись разобрался - приставка /?to=2/ появляется из-за подключения связей между объектами. С этим моментом сейчас разбираюсь, с разработчиком модуля каталогов.. Почему то страницам с /?to=2/ присваивается link rel="canonical"

Тогда получается эти страницы нельзя закрывать в robots.txt? или если их закрыть - то ПС начнет индексировать нормальные адреса объектов - без /?to=2/ ???

Да индексируются и страницы самих объектов и iframe к каждой странице объектов.