Генеральная уборка в Яндексе?

Angelika, может просто ВЫДЕЛЕНО было программером под 1 единицу хранения например 150кб, а теперь стало ВЫДЕЛЕНО 50? (при этом сама база не сильно и изменилась)?... И расчет шел не по реально съеденным ресурсам, а по отведенным программером под одну единицу.

Т.е. выдавался "виртуальный" размер, а теперь его пересчитывают в реальный.

А-а. Хорошая мысль, спасибо. Сейчас подумалось, что уменьшение количества документов в базе - тоже удаление не реальных дублей, а несколько раз проиндексированных страниц. Есть повод это подозревать.

Гипотеза про уменьшение размера документа из-за уменьшения лимита, увы, несостоятельна.

Как пример -

http://www.yandex.ru/yandsearch?ras=1&date=&text=&spcctx=notfar&zone=all&linkto=&wordforms=all&lang=all&within=0&from_day=&from_month=&from_year=&to_day=21&to_month=11&to_year=2005&mime=all&Link=&numdoc=10&site=lit.lib.ru&ds=http%3A%2F%2Flit.lib.ru%2Fr%2Frewazow_a%2Ftext_0010.shtml&how=tm

Если хотите, могу привести с документами посвежее...

Так что видимо дупликаты были немаленькие...

PS: Вообще можем завтра на конференции обсудить, кто там будет.

T-Troll, вполне возможно, что специально для библиотек лимиты совсем другие...

Я говорил не о реальных лимитах, а об отведенных под некоторые "переменные" объемах.

Т.е. как на хостинге - есть например минимальный тариф - 10мб дискового места. И по идее 10 купившим надо выделить 100 метров. Но хостер берет, и делает циферь "10мб" ДИНАМИЧЕСКИ выделяющейся - т.е. если залито 3 метра, то и используется только 3, а не отводится сразу все 10

Специально об этом спрашивал Яндексоидов.

Ответ - лимит есть, но один для всех.

А они не сказали каков механизм действия - совсем не принимаются к индексации большие документы, как говорится выше, или индексируется только часть документа, не превышающая лимит?

Angelika, думаю надо просто заглянуть на сохраненную копию какой-нибудь большой книжки с lib.ru :)...

Алексей, в сохраненных копиях есть большие документы (до 120К во всяком случае), но понятнее как-то не стало.

Вот Glob же пишет:

Angelika, у меня на машине есть подборка скачанных Экслеровских рассказов - соответственно очевиден их размер. Решил проверить, что из этого есть в базе, чего нет (опустим возможные фразы - типа, случайно вывалились).

В общем файлы размером до 638К в базе есть - это всем известные "Записки невесты программиста", а вот "Свабдебное путешествие Лелика" и "Ария Князя Игоря или наши в Турции" по 897К и 1.181М соответственно - уже нет. Оба, при скармливании в аддурл, слишком большие. По ходу - потолок индексации целого большого документа - где-то между 638К и 897К чистого текста+html. Сторонние примеры с размерами документов в указанном диапазоне - приветствуются.