ИМХО, им не хватает аналога description'а. Тогда ссылка будет выглядеть более законченной, сильнее будет похожа на обычные и будет более заметна (в т.ч. и потому, что будет занимать больше места).
А никто не прикидывал, по какому закону он выбирает количество?
В прошлую неделю с подопытного сайта взял почти 2000 страниц в несколько заходов. При этом, до этого брал не более одного раза и не более 500 страниц за раз...
За последнее время вырос ВИЦ (почти от нуля) и посещаемость... Может это влияет?
...на время прихода робота с полной индексацией вряд ли повлияет, зато оч. вероятно, что когда робот придет, он заберет больше страниц. А это уже вкусно... :D
Спокойствие, только спокойствие... Вот если бы это были три месяца... А так - пока еще ничего не значит.
Зачем выдумывать-то? Проще это передать в ведение abuse@yandex-team.ru - по смыслу почти одно и то же, кстати.
Главное - не суетиться.
Просто знайте, что индексирующие роботы практически не обращают внимание на поле Last-Modified и что бы то ни было другое.
Если бы они это делали, быстро нашлись бы "умельцы", которые заставили бы роботов ходить к ним ежедневно. Пользы бы от этого никому не было. Потому все роботы и сделаны поголовно "своенравными". :D
Если у Вас есть сомнения, напишите посьмо в группу поддержки поисковика и спросите о причинах такой задержки. Варианта может быть три:
1) отсутствие ответа - тогда просто придется смириться и ждать, либо пользовать другие пути достучаться до группы поддержки;
2) ответ, что все штатно - тогда придется смириться и ждать ;)
3) ответ, что у них было что-то не так и они все поправили - тогда скоро (в пределах одного цикла индексации) ждите визита робота.
Я также не пользуюсь формой внизу. Правда причина скорее в другом - как я уже говорил давно тут, у меня почему то на ней начинает слишком сильно тормозить ввод текста. 😕
Если делать все через единый сервис + кэшировать запросы к поисковику, ИМХО, нагрузка будет не очень большая.
Более того, раз за это будет платиться, господа из Яндекса могут вполне сделать специальный скрипт, который будет отвечать только за отработку таких запросов и возвращать результаты в удобном для дальнейшего разбора виде.
Не думаю, что нагрузка тут так критична.
Вопрос задан настолько непонятно, что Вы вряд ли получите адекватный ответ.
Пожалуйста, переформулируйте вопрос.
Думаю, раз уж были такие вопросы про Google, стоит сообщить, что такое "технологические сервера". Вот они:
1) www2.google.com
2) www3.google.com
Соотвественно, гугльданс проходит так: www3 -> www2 -> www.
