Гипотеза про уменьшение размера документа из-за уменьшения лимита, увы, несостоятельна.
Как пример -
http://www.yandex.ru/yandsearch?ras=1&date=&text=&spcctx=notfar&zone=all&linkto=&wordforms=all&lang=all&within=0&from_day=&from_month=&from_year=&to_day=21&to_month=11&to_year=2005&mime=all&Link=&numdoc=10&site=lit.lib.ru&ds=http%3A%2F%2Flit.lib.ru%2Fr%2Frewazow_a%2Ftext_0010.shtml&how=tm
Если хотите, могу привести с документами посвежее...
Так что видимо дупликаты были немаленькие...
PS: Вообще можем завтра на конференции обсудить, кто там будет.
Появился уже:
http://www.yandex.ru/yandsearch?serverurl=realty.uandex.net
Причем в последнем апдейте только.
А вообще судя по сайту - советую убрать PHPSESSID, яндекс его не любит.
Вообще-то о доменах написано здесь:
http://www.yandex.ru/info/webmaster.html
Похоже, ушло большое количество дупликатов из базы.
Интересно, из здесь присутствующих кто-нибудь пострадал?
Пример - любая книга на lib.ru. Там и пара мегабайт может быть. И ничего - читают...
По сути - у Я есть органичения на размер сканируемой роботом страницы, но достаточно большое. Кроме книг и больших презентаций ни на чем не сказывается.
По последним данным - дело не в проксе, а в последнем обновлении Google Toolbar.... Он действительно стал prefetch делать - и нарывается на Яндексовский Norobot. У кого стоит - посмотрите в установках - можно ли это отключить?
Насчет скачка в третьем графике - есть гипотеза, что Я просто увеличил максимально возможный размер документа как раз в это время. У него вообще-то есть такое ограничение...
100% забанили вас... Даже можно предположить, за что.
Будете смеяться, но только на мобильных системах класса PDA и мобильники движков рендера ГОРАЗДО больше 7. Конкретнее - я знаю около 15.
Что самое интересное - забанили его:
http://www.yandex.ru/yandsearch?stype=www&nl=0&text=rhost%3D%22ru.by.*%22
