Интернет магазин dokashina.ru

Это ведь фильтр, каким образом убрать? И что выводить пользователю если он вбил эти параметры в фильтр?

Т.е. Вы предлагаете когда пользователь выбирает параметры которых не существует, то фильтр должен не отрабатывать , просто не переходить на эту страницу?

Здравствуйте, проблема не сложная, сейчас все разрулим :)

Смотрите, по сути Вас, как я понял, интересуют 2 вещи:

1) Как запретить поисковикам индексировать страницы с результатами фильтрации

2) Как загнать нужные страницы в индекс

Поехали

1. С 404й Вы явно поторопились. То, что Вы сделали, робот может видеть как

а) некорректную обработку 404й ошибки

б) кучу битых ссылок

На самом деле проблема решается за 3 минуты. Вам нужно запретить индексацию страниц с результатами фильтрации в файле robots.txt. Для этого есть специальная команда Disallow: /* (вообще лучше потратить 5 минут и прочитать мануал по составлению robots.txt в хелпе Яндекса).

Таким образом, Вы для каждого робота (Yandex и *) прописываете 7 строк вида

Disallow: /*diameter_

Ну и естественно нужно исправить шляпу с 404м годом ответа сервера и вернуть 200 :)

2. Тема добавления страниц в индекс мусолится каждый день. Учтите, что все разом они все равно не добавятся, иногда для самых невезучих это даже кончалось фильтром, так что просто пробуйте известные человечеству способы

а) спросить Платона все ли в порядке с сайтом и нет ли ограничений от ПС

б) прогон Яндекс браузером

в) ссылки с хорошего твиттер аккаунта

г) покупные трастовые ссылки

д) sitemap.xml с ручным добавлением с яндекс.вебмастер

е) ссылки с главной страницы (например в футере)

Надеюсь помог, хорошего вечера :)

не меняйте url - делайте весь фильтр в рамках одного url :)

Смотрите:

Вот например страницы которые не нужны:

http://dokashina.ru/tyres/width_145-profile_10-diameter_r12/

http://dokashina.ru/tyres/width_145-profile_10-diameter_r14-season_summer/

http://dokashina.ru/tyres/width_185-profile_10-diameter_r14-season_summer/

а вот эта существует:

http://dokashina.ru/tyres/width_185-diameter_r14-season_summer/

и как написать запрет в роботе на это?

Смотрите, вот ссылка на help яндекса, здесь очень подробно все написано :) http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Отвечая на Ваш вопрос, у вас есть несколько страниц, в урле которых есть одинаковый параметр "width". Всего в Вашем фильтре есть сортировка по 6 или 7 параметрам (уже закрыл сайта)

Соответственно Вам нужно запретить индексацию всех страниц, начинающихся параметром width, оставим 1 (если я правильно понял)

Соответственно командой Disallow: /*width Вы запрещаете все страницы с данным параметром

а командой Allow: /tyres/width_185-...season_summer/ разрешаете индексировать нужную страницу. В сервисе яндекс вебмастер есть проверка правильности robots.txt, где Вы потом сможете проверить увидит ли робот ту или иную страницу в соответствии с Вашим robots.txt

Может я, что-то не допонимаю, но ведь это будет "нескончаемый" список в робот ткст?

Если Вам нужно закрыть все страницы фильтрации по каждому параметру, оставив 1 страницы, то получится 7 команд для каждого робота,

если у Вас куча страниц с таким же параметром, которые находятся в структуре сайта и должны индексироваться, Вам действительно нужно делать всю фильтрафию на одной странице и сделать все фильтры так же, как фильтр по цене (в рамках 1 url)

Нельзя быть настолько недальновидным и упрямым!

Сядьте и изучите правила написания инструкций для robots.txt

Уже 3 раза Вам написали, что будет порядка 10 строчек под каждую ПС.

Есть определенные правила, например:

символ * - означает, что может быть любой символ на этом месте (и не один).

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

http://robotstxt.org.ru/

Штудируйте или наймите специалиста.

А вообще, проблема на корню решается переписыванием работы механизма фильтрации - так, чтобы поисковые системы ничего не знали о "левых" ссылках. И это решает программистом. Так на заметку.

А до тех пор, Ваш сайт так и будет под АГС в Яндексе и мизерный траф :)

Примерный набросок, для закрытия ссылок на страницы "фильтрации":

добавить в robots.txt:

Disallow: /tyres/*width*
Disallow: /tyres/*profile*
Disallow: /tyres/*diameter*
Disallow: /tyres/*season*
Disallow: /tyres/*studs*
Disallow: /tyres/*brand*
Disallow: /tyres/*runflat*
Disallow: /disks/*width*
Disallow: /disks/*diameter*
Disallow: /disks/*brand*
Disallow: /disks/*pcd*
Disallow: /disks/*et_minus12*

Disallow: /tyres/*width*

Disallow: /tyres/*profile*

Disallow: /tyres/*diameter*

Disallow: /tyres/*season*

Disallow: /tyres/*studs*

Disallow: /tyres/*brand*

Disallow: /tyres/*runflat*

Disallow: /disks/*width*

Disallow: /disks/*diameter*

Disallow: /disks/*brand*

Disallow: /disks/*pcd*

Disallow: /disks/*et_minus12*

Дело в том что имеется много оптимизированных страниц:

Вот пример http://dokashina.ru/tyres/diameter_r15-season_all/

То, что Вы предлагаете, то он и их уберет из индекса.