Помогите создать robots.txt

Индексироваться будет как и был, но индекс будет засорять хлам (дубли), а это влияет на продвижение в ПС.

Закрывает всякий хлам, по крайней мере у меня. В интернете много нормальных статей на эту тему, уделите час-другой для изучения, лучше самому понимать что и как работает, иначе сайт загоните в зрительный зал.

Уже всё облазил, не могу ничего придумать. Нужна помощь спеца.

Сначала не внимательно прочитал Ваш пост. :)

Вам поможет только: rel="canonical"

а как ни будь так? : Disallow: /*start=0

Так он закроет от индексации постраничную навигацию, тем самым улетит кучу нужных страниц вместе с дублями. В данном случае возможно удаления дублей только через rel="canonical"

Тут всё, как всегда запутанно, я не профи поэтому мне сложно с этим разобраться. Буду читать, спасибо. Гугл медленно но уверенно добавляет страницы в индекс, а яша выкинул все кроме первых во втором уровне.

Добавил в robots.txt Disallow: /*start=0 и проверил, через яндекс вебмастер, ВСЁ ОК!!! То что нужно !!

Остаётся последний вопрос, "нужно добавлять страницы в sitemap.xml с окончанием;

start=0

start=10

start=20

и как это реализовать?"

Проверти, заодно, не грохнули ли вы страницы с окончанием start=10,start=20.

П.С. очень удивило: решил первый раз помочь на форуме, "заминусовали" карму=\

Я проверил в вебмастере start=10, start=20 и тд. доступ к этим страницам разрешен, а вот start=0-доступ запрещён. Проверил постранично, вроде всё ок. Но к моему сожалению это ещё не всё.

Есть страница /catalog/xolodilnoe-oborudovanie/ с неё ридерект на первую страницу раздела /catalog/xolodilnoe-oborudovanie/vitrinyi-xolodilnyie/, так вот эта первая страница раздела не индексируется, а мне нужно всё наоборот.

Дубль страницы /catalog/xolodilnoe-oborudovanie/vitrinyi-xolodilnyie/?vitrinyi-xolodilnyie_start=0 мы, с Вашей помощью перекрыли, а вот как дальше быть? А может она не индексировалась из-за дубля ??? Что скажите?

BiOSila, Спасибо большое, как только поправил robots.txt сразу, через день влетело в индекс 700 страниц, правда ещё снипет на редирикт на первую дочернюю страницу поправил. В целом спасибо.