Периодичеси чистит. Давно наблюдаю.
Бывает.
Ждите.
За всех зеркалах пропишите в роботсе хост и название главного зеркала. Яндекс главное возьмет и проиндексирует, а остальные - нет. Хотя некоторые дырки в этом деле есть, и как-то помимо главного зеркала на одном из проектов в серпе висело еще и зеркало.
У эхотага там какие-то собственные внутренние проблемы.
Количество проиндексированных страниц на одном проекте в течение часа менялось несколько раз (+-80).
Ждем.
Вот именно поэтому я и задал вопросы, потому как не поверил Вам.
Вы так говорите, будто Google, Yahoo, MSN, Yandex и Rambler открыли перед Вами исходники своих поисковых систем.
Хорошо, Ваше право.
Только не забудьте о вопросах.
В кубке по поиску.
lavrenko, хотелось бы получить некоторые комментарии к новости /ru/news/5303
Во-первых, расскажите, плз, подробнее, какими методами Вы пользовались, когда склеивали страницы?
Вы, ведь, буквально недавно говорили, что не можете это сделать , . Потом утверждали, что на скачивание и распарсивание 24 млн страниц, по Вашим словам, должен уйти как минимум год . Если все это дело еще и заставить проверяться друг с другом на похожесть, то время, соответственно, выростет по экспоненте, а Вы все "сделали" примерно за 10 дней миллиард с чем-то страниц, причем не имея "крутых" аппаратных ресурсов ( , ). Круто, однако, но не верится.
Теперь второе - Ваша система - метапоисковик, которая зависит от поиска остальных систем как игрек от икса. Объясните, плз, как вы смогли рассчитать количество непроиндексированных документов, если вы даже о проиндексированных немного знаете. (ибо в цифру 1'052'227'229 почему-то не верится)
Аргументы?
http://www.master-x.com/articles/article/233/
http://www.master-x.com/articles/article/234/page/0/
хост служит для указания Яндексу какое зеркало считать главным
