Дублирование страниц Джумлы в Яндексе

Надо по несуществующим страницам 404 отдавать. А так все сайты разные, у меня ещё, типа:

Disallow: /*rss

Disallow: /*atom

Disallow: /index.php/*.html

Disallow: /*?

А вам это может и не подойдёт.

Да я понимаю, что не совсем попал, но думаю, и тут найдутся знающие люди.

Через ЯВМ проверил - результаты:

Мне нужно, чтобы в индексе была только страница /index.php?option=com_virtuemart&page=shop.browse&category_id=1&Itemid=19, соответственно ее я разрешил так:

Allow: /index.php?option=com_virtuemart&page=shop.browse&category_id=1&Itemid=19.

Проверил через ЯВМ - все ок - индексация страницы разрешена.

НО

страница /index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19&virtuemart=a079e2d24cf171161cbc643ab97ab88f

ТОЖЕ разрешена этим правилом. И от дублей я не избавился :(

Добавление директивы:

Disallow: /*virtuemart=

не помогло.

Добавление

Disallow: /

тоже не помогло. Страница index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19&virtuemart=a079e2d24cf171161cbc643ab97ab88f по прежнему остается доступной для индексации.

Как мне избавится от этих &virtuemart=a079e2d24cf171161cbc643ab97ab88f ? Я их ненавижу:) Помогите!

denisov_gp, ещё раз говорю, на разных КМС разные роботсы будут, не все имеют дело с вашей КМС. как вариант можете внутри страницы прописать nofolow, noindex

Disallow: /&virtuemart=*

Allow: /index.php?option=com_virtuemart&page=shop.browse&category_id=1&Itemid=19. # это зачем вообще? Смысл какой?

Disallow: /&virtuemart=* - не помог, по прежнему

URL

http://www.site.ru/index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19&virtuemart=a079e2d24cf171161cbc643ab97ab88f

Pезультат

разрешен правилом /index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19

Allow: /index.php?option=com_virtuemart&page=shop.browse&category_id=1&Itemid=19 - эту страницу я продвигаю (она из индекса выпала, по причине дублирования контента со страницами типа /index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19&virtuemart=a079e2d24cf171161cbc643ab97ab88f). На эту страницу есть много естественных и "других" ссылок, потому очень хоцца ее вернуть в индекс, даже путем удаления из него всего остального. (Я фанат АГС-17:). Я за "на-самом-деле-полезный" интернет! Шутка с долей правды ☝)

Суть в том, чтобы закрыть ВСЕ страницы сайта от индексации, кроме нескольких действительно важных. Но, блин, не получается...

denisov_gp, делайте что я вам говорю и не мудрите. Строчку с аллов убирайте. То что я вам сказал пишите.

не получается так как Вы говорите. Все страницы разрешены для индексации. Или я не понял, как должен выглядеть роботс с Ваших слов.

Мне кажется Яша считает страницу http://site.ru/index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19

частью или производной от страницы

http://site.ru/index.php?option=com_virtuemart&page=shop.browse&category_id=9&Itemid=19&virtuemart=a079e2d24cf171161cbc643ab97ab88f

Потому, если разрешена 1ая, то и 2ая автоматом тоже. А это очень нехорошо.

А так: Disallow: /*&virtuemart=*

Если не поможет. Кидайте сайт в личку - поэкпериментирую. До того, как ЧПУ настрол, были похожие проблемы, помимо того, что по маске запреты поставил, пришлось ещё отдельные страницы запрещать (было по несколько дублей каждой).

Не раскрыт, это "бич" джумлы. Насколько знаю корректно не решаемый. Тоже сталкивался с этой проблемой. Единственный выход - нормальный сайтмап и письмо платону. Имхо.

Если кто-то на практике, а не в теории, решал проблему с дублями страниц в джумле+виртуемарт на уровне движка - отпишитесь здесь или вэлкам в личку, если хотите продать решение.

З.Ы. ЧПУ и всё, что с ними с вязано, это не решение.