Индексация больших сайтов

Давайте начнём танцевать от печки. Несколько десятков тысяч страниц ни один пользователь в жизни обходить не будет. К тому же, динамически получаемые из базы. Рекомендую поискать на форуме термин "автоматически сгенерированный контент" и обратить внимание на то, что за это бывает.

Дальше, задумаемся над тем, сколько страниц предстоит обойти поисковику, чтобы просто собрать эти несколько десятков тысяч URL.

За один проход поисковики собирают порядка 100 документов (для забывших математику напоминаю, что числа в диапазоне от 100 до 999 имеют один и тот же порядок :)). Т.е. для индексации 10К страниц понадобится не менее 10 визитов роботов, и это при условии, что в промежутках между визитами документы не изменялись. Далее, учитываем, что Google и Апорт обходят документы в порядке убывания их PR. У Апорта есть квоты на число индексируемых страниц в зависимости от ИЦ сайта. Скорее всего так же поступает и Яндекс (я про приоритет, а не квоты). Про Рамблер такого утверждать не буду, но и у него наверняка есть какой-то критерий важности, в соответствии с которым он упорядочивает обход. Вероятно это посещаемость. Ну и заглавные страницы счётчика топ100 он обходит чаще.

Итого, делаем вывод, что при огромном количестве страниц на сайте всегда будут находится документы, которые либо не будут индексироваться, либо будут переиндексироваться черезвычайно редко. Так что первый совет - уменьшить число страниц раз в 10.

Попутно замечу, что число проиндексированных страниц в Яндексе удобнее проверять так

Далее, чтобы улучшить "обходимость" сайта нужно создавать карту сайта.

Чтобы у робота была возможность получить список уникальных url сайта без дополнительных телодвижений. Карту логично рабивать на разделы, и на каждой странице выводить разумное число URL.

50-70 - разумно?

а если сайт имеет, скажем около 50 страниц, это мало? это как-то влияет на его вес и значимость?

влияет несомненно. Но не столь кардинально, чтобы искусственно раздувать размеры сайта :)

Смотря для кого или чего :)

Для пользователя разумно 10-15 ссылок (поисковики по столько на страницу и выдают). Для поисковиков - по разному. У меня до 100 ссылок на страницу выдаётся - холвеи очень дорвеистыми получились :).

А вот чужие ссылки я бы не рекомендовал в таких количествах кучковать - многовато.

Уважаемый знаток математики, скажите пожалуйста, а числа 99 и 100 имеют один порядок или разные? ;) Т.е. можно ли сказать, что число 99 одного порядка с числом 100? А число 30? ;)

Скорее всего, диапазон десятичного порядка для любого X разумно определить, как (lgX-0,5;lgX+0,5).

Т.о. в этом смысле 30 не имеет того же порядка, что и 100 (lg30=1,477).

Впрочем, как и 999 (lg999=2,9996).

Эта операция ("один порядок") не обладает свойством ассоциативности: a и b одного порядка, b и с одного порядка не означает, что a и c одного порядка.

И в этом нет никакого противоречия.

может, транзитивности всё-таки? :)

Правильно, пожалуй, данном случае проще говорить не об операции, а отношении.

А вот физики утверждают, что если два числа отличаются друг от друга менее, чем в 10 раз, то они одного порядка. А математики определяют порядок числа (натурального) как количество цифр, из которых состоит натуральное число, изображенное в определенной позиционной системе счисления