Насколько знаю, это один из ботов Гугла, в частности отвечающий за снимки страницы (кэш).
Есть ещё kh0.google.com, kh1.google.com — оттуда тянутся картинки для Гугл мапс.
По логике, это всё могут быть хранилища.
Разные браузеры могут передавать разные параметры поиску, не говоря уж о user-agent (который тоже учитывается). Соответственно, разные ранжирования.
В частности, отличается выдача в английском, русском, украинском браузерах также из-за переменной hl=en (hl=ru, hl=uk).
Мои поздравления.
Успехов вашему проекту, развивайте его.
С предоставленными вами вводными, вам ответили более чем полно и вполне доступно. Чего вам теперь не хватает? Действуйте!
Любопытно. Честно говоря, не знал про Allow. Очень любопытно.
В вашем случае она в любом случае не нужна, но, чувствую, пора обновлять свою базу знаний. )
Итак, мы знаем, что:
У ТС есть сайт поисковик, на который упал поисковый трафик из Гугла. Вещь в себе.
Что четыре дня трафик рос по 1-3к в день, итого вырос на 12-15к, а теперь упал с 600 до 130 людей в единицу времени.
Нужно ответить, почему так случилось и что делать дальше.
О более полной информации сложно и мечтать! )
Вы аналитику смотрели? Источники трафика, по каким словам, какой именно сектор дал падение трафика? Или вы просто увидели что общий трафик упал? Или поисковый? Запросы сезонные, или нет?
Как-то уточните что ли... А то непонятно, что именно вам отвечать.
ТС, поймите, директивы Allow не существует в природе, точно также, как не существует тегов <nogoogle> и <noyandex>. Кроме того, не закрывайте от индексации страницы типа admin.php — роботу без разницы, а у сторонних людей может возникнуть нездоровый интерес к таким местам, которые вы пытаетесь скрыть, а на самом деле выставляете напоказ.
Всё, что вам нужно прописать в данном случае, это:
User-agent: YandexDisallow:Host: armasnab39.ru
Директива Disallow здесь пустая т.к. она по правилам является обязательной и если её опустить, бот вас может «не так понять». Хост указываете для Яндекса (у вас редирект на «без-www» стоит) и ничего не закрываете от индексации.
Я бы на вашем месте также удалил и повторно бы добавил сайт в Google Webmaster Central, проверьте кстати, не с www ли вы его там указали — это тоже может быть причиной.
Кхм. Нет директивы Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает.
This might be a reason...
Вам это нужно сделать также в .htaccess при помощи 301 редиректа (подробнее смотрите здесь — полные мануалы).
Гугл может вылететь, затем вернуться в выдачу. Это нормальное явление.
Также добавьте заново в Google Webmaster Central и Яндекс.Вебмастер ваш сайт с www — и будет всё работать.
