А зачем?.. Ведь есть целый терабайт материала. ;)
"раз пошла такая пьянь..." ;)
Ниже привожу табличку прихода писем с извещениями об обновлениях.
Левый столбец - чуточку модифицированный список дат от wolf'а, правый - даты подобных писем, которые еще сохранилась в моем ящике.
Как видно, wolf'у письма стабильно формировались на сутки раньше, чем мне. Это норма, если учитывать, что Яндекс "переваривает" подобных запросов, думается, не одну тысячу.
Штатные обновления, судя по всему, проходят в понедельник и четверг.
Немного бонуса:
Красные строки - явняе сбои в обновлениях. Зеленые - норма.
Проблема именно в этом. Единственно, как можно ее решить, сделать так, чтобы редирект происходил только после полной загрузки страницы.
Правда, облегчить страдания можно, если счетчик засунуть максимально вверх страницы и сделать небольшой тайм-аут перед перебросом, но такой вариант не исключает "пропаданий" в статистике.
Сейчас запросы сказать не могу - список остался на работе и он довольно большой. Все запросы относятся исключительно к юридической тематике, но не по всем получилось подняться до первых мест - часто была большая конкурентная среда.
В каталоге Яндекса не регистрировался, т.к. они не принимают ресурсы в процессе разработки, каким и был до недавнего времени наш проект.
В данный момент - только терпением. По моей информации он сейчас не индексирует уже почти месяц (если я не прав - поправьте).
Ощущение было такое, что для старта в него засунули список все доменов *.ru, а далее он просто ходил по ссылкам с них.
Когда же откроется это черепаховое чудо (а это именно Turtle - я его тогда изучал, да и сайт turtle.ru на Stack зарегистрирован) - вот тогда может и будет на нем соответствующая формочка...
Я так понял, вопрос по Яндексу не про обновление ИЦ-баз и им подобных, а про обновление поисковой базы. Тогда могу поделиться наблюдением, что как правило странички подшефного мне сайта в базе появлялись в ночь на вторник...
Ну народ пошел! Сами про SE рассуждаем, а поискать, выходит, лень... Первая же ссылка с Гугля дает ответ на этот банальный вопрос: http://www.siteware.ch/webresources/useragents/miscellaneous/alexa.html
Это было сделано исключительно оптимизацией, потребовало 3 месяца на детальное изучение Яндекса (как самого быстрого в плане попадения сайтов в поисковую базу - с другими поисковиками исследование еще продолжается) и более ничем не подкреплялось, ни ссылками в каталогах - нельзя тогда было их ставить, - ни баннерной, ни платной рекламой.
Нет, не забанят.
Клоакинг, это, в первую очередь, изменение контента. В Вашем случае изменения не происходит - изменяется только его оформление. Ваш вариант стоит в одном ряду с сайтами, позволяющими посетителю выбирать цветовое или стилевое оформление сайта, либо язык представления информации, а за такое глупо банить.
Все баны ставятся людьми, роботы лишь наводят модераторов на подозрительные сайты. На Ваш сайт может придти модератор, т.к. робот его может счесть подозрительным (хотя маловероятно, что это робот сможет поймать), но бана точно не будет.
Это Яндекс. Такой User-Agent встречается только при попытке добавления той страницы, на которую был заход, через форму на Яндексе.
