Делюсь своим опытом.
У меня 205к страниц, правда 70к только недавно добавились.
Поначалу (года 2 назад) Я жрал по 500 два раза в неделю.
Потом по 1000. Сейчас может и за день по 20к сожрать и не давится.
В отличие от Рамблера старые страницы не пропадали - был постоянный рост числа проиндексированных. Учитывая периодические глюки и бэкапы 130к он осилил почти через 2 года. За тоже время Рамблер - только 65к. При том, что Я постоянно пасется на сайте, а Р заходит пару раз в неделю. Last-Modified страницы, я так понял, только Я и проверяет. Сожрет 1-2к, а через несколько часов опять их щупает.
Ну если мое сообщение в личке не видели - значит больше нет.
Есть проблемы с анализом логов сервера.
На караване логи начинаются и заканчиваются в 2-3 часа ночи, поэтому при обновлении информации теряются эти часы.
Можно это исправить как-то?
Каким образом можно полностью исключить хиты при загрузке картинок - элементов дизайна? Так чтобы они вообще не записывались в историю при разборе логов. Был бы полезен фильтр по маске файлов, который бы действовал еще при парсинге логов.
В описании не должно быть превосходной степени. Нельзя применять слова лучший, отличный и пр.
Это написано в правилах и определяется при первичном разборе описания и названия ресурса.
Неправда, это у вас. А у меня с четырьмя желтыми пальцами... :D
Почему не было?
У меня страниц 250 сожрал. Первый раз после 19 июля
У меня с 19 июля не был ни разу. Раньше раз в неделю жрал по 500 страниц.
Если у него теперь такие аппетиты - периодичность заходов уменьшается в 6 раз. МощностЯ то прежние остались :)
All the Web - AltaVista - Gigablast - Google USENET - Google - HotBot - Lycos - Teoma - WiseNut - Yahoo
и еще более трехсот
можно регистрировать данный факт в книге Гиннеса :)
Иногда и годами...
- по моему нет, но в DMOZ же есть русскоязычные разделы
- по моему то, что их базу используют многие крутые западные поисковые системы и каталоги
Обратился туда сразу же, но ответа нет до сих пор.
Ни там, ни здесь...:(
