robots.txt для форума - запретить индексацию архива или страницы тем?

Упрощенная версия лучше индексируется и справляется с ролью "карты сайта" при отсутствии SiteMap в XML.

Но, если Вы уважаете посетителей, пришедших из ПС, то лучше проиндексировать именно основной форум (соответственно, сообщив ПС расположение XML карт сайта).

Меня, например, немного раздражает, когда попадаю из поиска на Архив, а не на основной форум.

Если форум построен на vBulletin, то рекомендую прикупить надстройку vBSEO - там есть все инструменты для вышеперечисленного, и еще много чего полезного.

Да, пожалуй, вы правы. Ради пользователей лучше убрать архив в роботикс.

Форум на Mybb - достойная альтернатива vBulletin, на мой взгляд, лучший из бесплатных.

Через robots.txt желательно также отсечь весь мусор: профили пользователей, календари, результаты поиска (на последние любят ставить ссылки). Хотя бы так, как здесь же.

Здесь, кстати, архив не запрещён. Почему, инетересно?

Потому что никто не занимается его продвижением в ПС, наверное ... все идет как идет:

http://www.liveinternet.ru/stat/forum.searchengines.ru/searches.html

:D Гугл рулит! ;)

И таким образом ведь лишишься ссылки на форум.

через поиск ставят, как правило, только внутренние ссылки на форуме. Во внешних ссылках стразу указывается адрес темы.

Положим, ссылка останется ... как и многие другие, ведущие в Космос.