Исключительно из личных наблюдений.
Вполне возможно, что база обновляется не одним скопом, а, например, сегментами...
Все путем Radj!
Как говаривал Дуремар: "Еще 2000 ведер и золотой ключик будет наш!"
Просто надо дождаться, когда поисковики скушают твой robots.txt и примут его к действию.
В этом плане Rambler - самый быстрый - он берет robots.txt раз в неделю по понедельникам.
Ну почему же. Сказать-то могут, только это не самое дешевое удовольствие на свете... ;)
Кроме подсчета кол-ва пользователей,которые ушли по ссылке, поисковик может еще косвенно решать, нашел ли там пользователь то, что искал: для этого просто смотрится, вернулся ли пользователь обратно и пошел ли он по другой ссылке из этих результатов поиска. Для больших объемов запросов ошибка получается вполне приемлемая. ;)
Достижение, это когда усилия по оптимизации начинают приносить дохода в виде живых денег больше, чем было затрачено на эти усилия.
Нормально отнесутся. В разумных пределах кол-ва таких страничек, конечно...
Думаю, была попытка сказать про тот механизм, который реализует в IE опцию "Сделать доступной автономно".
Эта штуковина скачивает сайт на несколько ссылок вглубь, идентифицирует себя как "MSIECrawler" внутри обычного User-Agent, первым делом кушает robots.txt и ведет себя (относительно) корректно.
Единственно, я не смог понять как запретить только этому роботу скачивать определнные области сайта - ощущение, что он воспринимает только то, что написано под шапкой "User-Agent: *".
Я вот тут посмотрел все сообщения темы и не нашел, чтобы упоминалась хоть какая реакция Яндекса на эту тему. Туда вопрос посылался? Что они ответили?
Бррр... Ну и зачем так усложнять проблему?
1) у всех индексирующих роботов поддерживается список адресов для индексации;
2) из списка по очереди выбирается по одному адресу и робот лезет за содержимым;
3) если в содержимом страницы находится новая ссылка, она добавляется в хвост списка;
4) go to (2)
Мораль: роботу глубоко наплевать на то, как физически располагаются файлы на сервере, а вебмастеру важно,чтобы все адреса страниц максимально быстро попали в этот заветный список. Отсюда и появилась практика создания карт сайтаи запихивания в поисковик адресов карт сайтаане адресов мордашки.
Дальшедумайте сами - много можно индересных мыслей и находок сделать... ;)
Где-где? Да все там же, где и была: с мордашки Яндекса по старой доброй ссылке "Добавить сайт"...
Ну да, изменилась она немного, ну и что с того?
Между прочим, если вводить только адрес и не заполнять другие поля, все нормально проходит.
