Странное поведение роботов

Онтарио
На сайте с 30.06.2009
Offline
37
1354

привет,

вот уже около месяца наблюдаю странную ситуацию с дропами. Роботы ходят только на главную и на роботс.txt, постоянно ходит зеркальщик: по 4 запроса подряд на морду. Сайтам уже

несколько месяцев, после переписки с платонами по одному сайту ответили, что в порядке и попадет в индекс в ближайшее время, однако прошло полторы недели, а роботы так и не пытаются фетчить другие страницы.

тематики сайтов разные, в роботс прописан пустой Disallow для яндекса и все.

Может кто-то наблюдает/наблюдал подобное?

A
На сайте с 31.07.2008
Offline
21
#1

Присоеденяюсь к вопросу,

почти такая же проблема наблюдалась до апдейта PR и последнего апдейта Яши, а после вообще вылетело 2 сайта из индекса Яши и Гугла.

Причем одновременно с разницей 4-ре дня.

тоже дропы, правда зареганные пол года назад.

C
На сайте с 08.02.2011
Offline
1
#2

У меня такая же ситуация, но домен не дроп. Две недели ждал индексации. Потом проверил сайт на валидаторе и увидел предупреждение о наличии Byte order mark, из-за которого по слухам Яндекс не берет сайты в индекс. Удалил этот ужас и заново добавил сайт в панель вебмастера. Робот так и не появился и сегодня я написал платонам. Минут через 10 прибежал робот и раз 5 поочередно забрал морду и robots.txt. Потом - глухо. Жду ответа от платонов теперь.

Онтарио
На сайте с 30.06.2009
Offline
37
#3

насчет BOM проверил - код валидный без всяких выкрутасов, так что не подходит.

[Удален]
#4
criticon:
Робот так и не появился и сегодня я написал платонам. Минут через 10 прибежал робот и раз 5 поочередно забрал морду и robots.txt. Потом - глухо. Жду ответа от платонов теперь.

Хм, неплохой метод быстрой индексации. Пишешь Платону, а он и отправляет к тебе робота.

Если честно, мне кажется, это просто совпадение.

C
На сайте с 08.02.2011
Offline
1
#5
SeoMad:
Если честно, мне кажется, это просто совпадение.

Вряд ли совпадение - две недели до этого робот не появлялся. И после этого робота тоже нет.

Digital Helen
На сайте с 10.11.2006
Offline
108
#6

А как часто обновляются ваши сайты? Неоднократно наблюдала такую ситуацию с индексацией у сайтов, где по несколько месяцев не меняется контент.

Онтарио
На сайте с 30.06.2009
Offline
37
#7

на паре сайтов появляются новости раз в 2-3 дня. Вторая пара действительно не обновлялась

[Удален]
#8
Онтарио:
на паре сайтов появляются новости раз в 2-3 дня. Вторая пара действительно не обновлялась

Если контент не обновлялся, то робот увеличивает интервал посещения сайта при каждом следующем заходе, бывает и по несколько месяцев интервал обхода.

Пути решения:

1) Обновлять регулярно контент/добавлять новые страницы на сайт

2) Ставить ссылки с быстро индексируемых сайтов

B
На сайте с 17.11.2010
Offline
10
#9

домены с парковок вообще дальше 1 страницы не ищет, просто не смотрит даже, а на вопрос почему приходит "алгоритмы решили...", 2 сайта даже они как то перезагрузили, они показались неиндексированными, потом робот нашел главную и... все, что дальше ему не интересно

Антон
На сайте с 09.01.2007
Offline
148
#10

Простите за оффтоп, не сдержался. Какое сильное название темы, прям 21 век на дворе чувствуется! =))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий