То, что страницы, схаваные быстроботом выпадают - это нормально. По моим наблюдением выпадение происходит через 2,5 суток с момента появления страницы в индексе, т.е. получается 60 часов, но точных замеров не делал.
А вот почему у вас страницы не индексируются обычным ботом - отдельный вопрос. Может быть он контент считает некачественным, может при такой скорости добавления контента он просто не успевает схавать ссылки на новые страницы (они уходят глубоко внутрь), может быть просто для робота ваш сайт недостаточно хорош, чтобы достаточно часто его смотреть и забирать такие объемы. Активность индексирующего робота оценивали?
Думаю, что поисковики это не используют не столько из-за ресурсозатрат, сколько из-за бессмысленности этого метода. Представьте, что в онлайн издательстве А работал райтер X, а в издетельстве Б - райтер Y и каждое издательство в каком то объеме перепечатывает тексты другого издательства. По каким-то причинам райтеры сменили работу на противоположное издательство. И как поисковику определять, кому принадлежат тексты? И это простейший случай, не учитывающий фрилансеров, пишущих тексты для десятков заказчиков. Алгоритмы авторства хороши для сайтов, над которым фиксировано работает только определенная группа людей, не привлекая тексты со стороны и не отправляя их на сторону, но в текущих условиях - это скорее исключение, чем правило.
Поисковику нужно определять, кто владелец текста, а не кто автор.
PrintIP, ИМХО, делать нужно максимально приближенно к естественному. Вы видели в естественном виде какую ни будь нормализацию? В одной статье может быть ни одной ссылки, в другой - пара внутренних ссылок, а в третьей - помимо двух десятков внутренних ссылок еще и десяток внешних. Все по обстоятельствам, и ссылки должны хотя бы выглядеть, как предложение посетителям ознакомится с дополнительной информацией.
Были единичные подвижки по отдельным запросам на несколько позиций. Сейчас, вроде, все откатилось к старой выдаче.
Во первых, часть сайтов использует Аналитику.
Во вторых, на части сайтов размещены реклама РСЯ, которая так же собирает статистику.
В третьих, на части сайтов размещена денежка.
В четвертых, теоретически Яндекс может иметь доступ к статистике TopMailRu.
В пятых, при желании цифры посещаемости можно брать в конце дня из Топ100 Рамблера, счетчик которого размещен у большинства.
Остальные сайты можно оценивать по реакции пользователей на результаты поисковой выдачи или просто присваивать некий статический коэффициент.
Собственно, всеми наблюдениями уже поделился. Яша явно прет в сторону определения качества документов, выдаваемых в результатах поиска. Кстати, в главном форуме сейчас обсуждают влияние больших текстов. А ведь какой-то процент посетителей эти большие тексты вполне может читать, тем самым увеличивая среднее время возврата в результаты поиска и среднее время просмотра страницы (может оцениваться у сайтов, где есть средства получения статистики, контролируемые Яндексом). Вот вам и повышающий коэффициент для ранжирования.
От точного знания, какие факторы влияют, никакого проку не будет. Тем более, что если кто-то найдет средства на них влиять, Яндекс сменит тактику. Нужно просто стараться делать СДЛ и все получится.
ИМХО, логика там есть, но понять ее непросто, т.к. участвует явно несколько параметров и не все они известны. Например, вы не узнаете процент возврата в результаты поиска после прехода по вашей ссылке, среднее время возврата и т.п. Логика там подобна выделению быстрых ссылок, но значительно меньшее влияние навигационных ссылок и большее влияние поведения посетителей. Поэтому вылазит внутряк, который по тем или иным причинам интересен посетителям.
А чуть глубже копнуть можете? ИМХО, оценивается совокупность факторов: интерес посетителей, количество запросов, по которым страница в топах, внутренний ссылочный вес, внешний ссылочный вес и т.д.
Что-то цены подозрительно похожи. Эти регистраторы, случайно, не берут домены от одного и того же дискаунтера? Позволяют ли все они брать домены по спецценам при больших количествах? А вылеты сайтов с доменами от nic.ru есть?
Сейчас практически все влияет: регистр букв, падежи и склонения, порядок слов.
