Некоторые думаю есть. Думаю его вариант получения новостей, и мой - схожи. Поэтому могут пересекаться.
Ну согласитесь, какой смысл давать свои сайты для эксперементов?
Superstar, возможно вы правы. Просто у меня нет данных, подтверждающих вашу версию. А на счет свое, могу сказать следующее:
5 сайтов. На них идет обновление новостей. Естественно никакой Явы. Интервал обновления 20-40 минут. (новости на разных сайтах уникальны). Объемы большие.
Так вот: один сайт, самый продвигаемы, посещается каждые 6-8 часов, остальные, в зависимости от известности, от суток, до 3 дней.
Nik33,
Вы упорно повторяете варианты этой фразы. Сама фраза конечно верна, но объясните: ЗАЧЕМ?
Или действует принцып мушкетеров: "Я дерусь, потому что я дерусь"
Loky, Частота появления бота, имхо, больше зависит от приросат/изменения внешних ссылок
IBY, 100% верно
sergey24,
Есть алгоритм. Реализация Perl for Win32.
Судя по тому, как он себя ведет, действительно 1.0. Хотя зачем-то обязательно требует наличие переметров расшмренного 1.1
Eugeny Holin, Ничего явно плохого нет. Заголовок ответа сервера разный, для разных агентов. Может чего с хостом?
sergey24, понял, хотя и с трудом.
Начнем с начала.
Страница в виде текста или html?
Вам нужно это делать локально или с удаленного сервера?
Нужно ли использовать веса для разных тегов, или нужна просто частота слов?
Eugeny Holin, ка определили, что роботов нет?
Кинь в личку сайт. Интересно.
