Пример кластерной теории организации сайта.

Высказана она давно, например здесь , а еще раньше на семинаре Wolf'a (может и еще раньше, не следил, не было насушной потребности).

В моей работе ее подтверждением является следующий факт: по наблюдениям за неприличные каталоги ссылок, не следует никаих видимых санкций для всего сайта, эти каталоги просто начинают считаться отдельным кластером и исключаются из индекса, когда весь остальной сайт без проблем индексируется.

По моим данным это затрагивает до 30% сайтов с каталогами ссылок (обычно это судьба больших нетематических каталогов, но не обязательно, пути алгоритмов неисповедимы).

Важное следствие: проверяйте на индексируемость не весь сайт будушего партнера по обмену, а его каталог (по маске url). Если он не индексируется, а остальной сайт в индексе, то шансов что ваша ссылка будет найдена роботом практически нет. Случаев что бы исключенный каталог возврашался в индекс за полгода наблюдений не было обнаружено.

Причем часто проиндексированы служебные страницы каталога не содержащие ссылок: http://site.ru/links/index.php, http://site.ru/links/add.php, http://site.ru/links/form.php.

Так что господа, следите за своими каталогами, не допускайте их превращения в помойку. Ведь в условия тотальной фильтрации обмен это важный источник и долговременый источник хороших (или как сейчас говорят "трастовых") ссылок.