Канонические страницы

robots поможет

а canonical не выкидывает мусор из поиска... а просто указывает пс какая страница каноническая а какая нет

Не понял. Зачем тогда canonical ? Подскажите как сделать так, чтобы не индексировались страницы получаемые из пересечения фильтров категорий брендов и страниц?

почитай хелпы про роботс, там все расписано

Я не специалист. Подскажите в robots.txt я могу закрыть доступ только по определенному URL ? А как ему указать запрет на комбинации фильтров ? Дайте пожалуйста ссылку где об этом почитать.

Справка Google о применении rel canonical

Как правильно использовать rel="canonical" для успешной индексации в поиске Google, статья на Серче.

Описание работы с robots.txt, справка Яндекса. Плюс - удобный анализатор robots.txt, так же от Яндекса, можно в режиме реалтайм протестировать правильно ли составлены правила и что они запрещают.

Моё имхо:

A). rel canonical намного удобнее для управления дублями страниц, чем robots.txt, поскольку всё управление делается в движке сайта автоматически.

B). в robots.txt надо лазить руками, и я не представляю как там можно закрыть 1000 дублей и при этом не поломать себе "моск". Не все url имеют общее начало, чтобы им можно было легко прописать шаблон. robots.txt имеет ограничение на размер, если более 32 Кб - Яндекс считает, что "разрешено всё" даже не читая что там.

C). По rel canonical, вес со всех неканонических дублей(а на них есть внутренние ссылки и могут быть внешние) переклеивается на каноническую страницу. Тогда как robots.txt просто убирает их из индекса с потерей ссылочного веса.

D) Если модифицировать движок сайта на поддержку rel canonical не представляется возможным(нет знаний, нет программера, неохота разбираться) - тогда уже юзаем возможности robots.txt

Ида, Google индексирует страницы,закрытые в robots. И robots, и rel canonical - это лишь рекомендации для ПС.

Ladycharm, Большое спасибо ! Я правильно понимаю что набрав _site:shoes-kids.com.ua_ я буду по прежнему видеть 130000 проиндексированных страниц, google не будет учитывать закрытые rel canonical , но я этого не увижу? Пока в Вебмастере продолжаются сообщения о повторяющихся метаописаниях...

demar-kids, похожую ситуацию лучше решить так, отдавать на не неужные страницы метатег ноиндекс. и все не нужные уйдут из индекса. В роботс зароете, только сканировать не будет, а в индексе останется. К программистам Вам в общем.

Сами ПС обещают, что в выдаче будут стараться давать ссылку на каноническую страницу, вот, кстати, про rel canonical от Яндекса

Гарантировать, что Google и Яндекс перестанут учитывать страницы-дубли - невозможно, но страницы должны склеится по одинаковому контенту, rel canonical явно намекает ПС, что это - нечёткие дубли.