Slurpом представляется не только бот самого Яху, но и всех компаний, лицензировавших у них поисковую технологию, не говоря уже о мимикрии всяких спамоботов. Смотрите по принадлежности IP, кому принадлежит эти диапазоны адресов.
Ещё одна новая фича, цветная карта Рунета "Рухоль": http://www.43n39e.ru/ruhole
Ночью электрики чинили подстанцию, вполне возможно, что смотрели сайт в это время...
Последнее изменение, требовавшее полной переиндексации было около двух лет назад, все остальные изменения касались добавления новых таблиц или столбцов в существующие таблицы, что вполне решается средствами SQL-сервера.
Все крупные успешные инсталяции используют PostgreSQL, а не MySQL. Наиболее крупная работающая инсталяция, извесная мне, насчитывает около 19 млн. страниц, правда всреднем примерно в 3 раза меньших по размеру среднестатистиченеской интернет-страницы.
http://sochi.org.ru/ - поиск по сайтам, относящимся к городу Сочи.
И какой адрес у этой новой системы ? :)
Списки поисковиков по странам:
http://www.searchenginecolossus.com/
Но поддержка русского есть только у live.com
Для английского выдача совпадает абсолютно.
Подсказка: http://34n118w.net/ :)
Новости поисковика Вершки Рунета: проиндексированы сайты из каталогов Rambler Top100, YACA, Liveinternet.ru, индексируются только сайты второго уровня, некоторые "особые" домены типа org.ru, net.ru, msk.ru и т.п. при этом считаются первым уровнем, всего набралось чуть более 335 тыс. таких сайтов. Также начали индексироваться заглавные старницы сайтов из ex-USSR.
Посвилась добавлялка: http://www.43n39e.ru/add
А также облако популярных запросов за неделю: http://www.43n39e.ru/cloud
не суть важно, хоть мульён, лишь бы было гд хранить :)
одна новость - одна страница, заголовок - в заголовок, анностацию - в meta.description, ну а саму новость целиком - в тело. И всё, никаких замарочек с сованием всего на одну страницу.
