Отчего такой дубль?

При создании сложных сайтов подобные дубли возникают всегда, поскольку, как правило, одну и ту же страницу возникает необходимость вызывать различными способами: по дате, тегам, id и т.д. Решить ваш вопрос поможет правильное составление /роботс.тхт. Ну и судя по вашему нынешнему роботс, дубли там не закрыты.

Хм., после "разборок" с дублями количество страниц тоже должно упасть, а вот процент проиндексированных не под фильтрами вырасти.

---а можно просто взять вот такой роботс для битрикса http://statievsky.ru/robots-txt-dlya-bitriks/, и поставить на свой сайт...или его нужно очень аккуратно создавать?

Для большинства случаев должно подойти, но возможны подводные камни.

1) Некоторые страницы так и останутся дублями, индивидуальность играет роль всё-таки.

2) Можно закрыть нужные страницы. Например, тот же индекс.пхп, про который говорится в статье. Но у вас в меню ссылки без него (посмотрел 2 пункта меню), то есть закрывать можно.

Да, ну и, разумеется, директиву Host: ввв.HOST.ru, которая в самом конце, либо убрать, либо изменить на свой сайт.

Пока я админу письма писал, оказывается он уже роботс поправил, сейчас такой стал:

User-agent: *

Disallow: /tools/

Disallow: /forum/forum13/

User-agent: *

Disallow: /bitrix/

Disallow: /search/

Allow: /search/map.php

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

User-agent: Yandex

Disallow: /bitrix/

Disallow: /search/

Allow: /search/map.php

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Как на ваш взгляд, все ли что нужно сделано? Понятно, что индивидуальные нюансы неувидишь, но в общих чертах? Я читал что в роботсе должно быть прописано, основное зеркало...а здесь вроде как нет.

Хм., ну как вам сказать, такую простыню просматривать и без исходников сложно. На первый взгляд действительно большинство закрытых страниц - служебные или дублирующий контент.

Ну можете добавить, для яндекса.

Так же можно указать путь к карте .xml сайта, елси она есть.