Предлагаю альтернативу заработка - темы "Апдейт" и "ересчитался тИЦ" сделать платными.
Avatar,
это мой опыт по другим сайтам. Последний был наверно окло года назад.
конечно ИМХО, но можно избежать склейки, если разные субдомены, имеют разные подсетки. Робот, с какогото момента, перестает перечитывать DNS. БЫл такой казус.
На собственной тестовой площадке, где все сайты имеют свои реальныые IP, как-то перенес "сайт 1" на другой адрес. Потом на IP,где лежал сайт 1, выложил другой сайт "сайт 2". (естественно DNS были переопределены). Так робот, после того, как начал индексить сайт 1 с нового места, сайт 2 считал его частью еще месяца 3. (не субдомены, темы разные)
"Реальный" IP чаще всего один, а "виртуальные" разный. Это избавляет от очень многих забот.
Была такая задача, написал письмо в супорт, они разделили субдомены, чтобы и тИЦ раздельно считался и все остальное.
Давайте мух от печенья отделим. суб юомен - это домен следующего уровня имеющий уникальный (реальнвый или виртуальный IP),
а папка - это пака. А то все как-то вместе.
Конечно имхо, но (надеюсь они не сильно исказили класический алгоритм)
Когда индексация начинается, робот конечно начинает с морды, по проходит по ссылкам. У него лимит времени на сайт. Что успел - то взял. Лимит у разных сайтов - разный. Зависит от многих факторов.
Так продолжается несколько раз, с каким-то интервалом.
Потом, когда накопились данные, робот ходит по сайту, начиная как с морды, так и со страниц с наибольшей частотой обновлений и с большим весом внешних ссылок.
По всей видимости, робот иметт ограничения и на количество ошибок. Если код имеет ошибки и сервак часто возвращает код отличный от 200, бот посто уходит.
Такое часто наблюдается у сайтов, посторенных на движках с "плавающими" страницами, когда страница со временем меняет УРЛ.
(да, здесь я еще не описал проходы быстроробота, робота каталога и т.д.)
Вощем посмотрите расширенные логи сервера, там много станет понятно.
Слышал звон........ =))
Какой смысл яндеху создавать "умного" робота. Гемора много. Денег больше не принесет. Сейчас он вне конкуренции. Большенство его ругают но пользуются.
Ведь уные мысли появляются тогда, когда жмут ботинки.
Посему, пока кто-то "на коленках" не моздаст нового монстра, который будет заточен под русский контент и менталитет - яндех будет продолжать сои эксперементы.
Ведь ссылки удобней контента, с точки зрения анализа, учета и индексации. А над парсерами контента нуна голову ломать.
Lenka, А как на счет скорости отдачи страниц. Робот имеет лимит времени на сайт. Если сервер тормозит, робот просто не успевает дальше зайти
