Господа, позвольте вмешаться в столь интересную дискуссию
На мой взгляд, как раз неудивительно, что объём Яндекса составляет больше объёма конкурентов, как раз из-за того, что он индексирует CGI-ресурсы.
Пример?
Скажем, на моём сайте, Авиабаза =KRoN=, одном из крупнейших авиасайтов Рунета, объём информации в форумах уже сравнялся с объёмом HTML-документов остальной части сайта - ~по 100Мб текстов. Но форум растёт стремительнее сайта! И если Yandex его индексирует сам, то для подключения остальных поисковиков мне пришлось делать специальные страницы-заглушки со ссылками на топики форума. И то, скажем, Апорт регулярно "теряет" (иного слова нет) форум.
Что до не-CGI организации форумов, то тут тоже есть проблемы. Этот самый UBB, на который тут ссылались, хоть и имеет в конечном варианте статические HTML-страницы, но ссылки на них по умолчанию идут только через CGI. Так что всё равно, как минимум, приходится писать "фходные страницы для поисковиков".
Есть, правда, и весьма нехорошая особенность Яндекса - любит он включать в индексацию служебные страницы с ответами на сообщение, скажем и т.п. Так что приходится настраивать поиск с помощью /robots.txt
А в новой версии (UBB6) отказались от статического HTML и всё генерится через CGI. Так что и тут пришлось дописывать - имитацию формата старых URL через обработчик 404-й ошибки.
В общем, что я могу сказать.
Хорошо, когда владелец сайта может настроить всё так, чтобы вся информация была доступна через одни лишь не-CGI запросы. Но если таковых нет, то индексировать всё равно желательно.
Вот только с группировкой результатов запроса у Яндекса, конечно туго... Печально очень видеть десятки одинаковых страниц на один запрос Да, выкидывая дубли можно случайно потерять что-то важное, но показывая всё подряд пропустить в этой каше что-то, по-моему, вернее...
