Переобход страниц перестал индексировать страницы, почему?

Y
На сайте с 28.08.2014
Offline
39
3201

Не один, а сразу два сайта попали в немилость. Перестали залетать страницы, хотя пишет, что робот обошел. Кто встречался и почему такое может быть?

Arakss
На сайте с 24.03.2016
Offline
36
#1

Последнюю неделю замечаю часто глючит переобход, да обходит но странички в индексе могут по 12 и более часов не появляться.

А вообще часто такое после апов наблюдаю.

Dokkino.org (http://dokkino.org)
Lazy Badger
На сайте с 14.06.2017
Offline
231
#2
yoziktyoma:
Не один, а сразу два сайта попали в немилость. Перестали залетать страницы, хотя пишет, что робот обошел. Кто встречался и почему такое может быть?

Капитан Очевидность сообщает:

  • Спайдеры обходят все разрешенные им страницы, не обращая внимание на то, в индексе стрница или исключена по какой-либо причине
  • В Вебмастере (сюрприз, да?) можно посмотреть, какие страницы сайта исключены из поисковой выдачи и почему
  • Когда лениво, поиск (заведомо существующего на странице ключа) с оператором inurl также должен отвечать на вопрос "в индексе или нет"
Производство жести методом непрерывного отжига
Y
На сайте с 28.08.2014
Offline
39
#3

LazyBadger, все, сказанное вами, вполне логично и понятно, но проблема в том, что в вебмастере все идеально, страницы стабильно заходят и, к счастью, не выходят (с апом), ошибок нет, по крайней мере, в вебмастере не отражаются.

По ключам не пробивается страница после появления статуса "Робот обошел", RDS показывает, что страница не в индексе, по частям текста тоже не пробивается, по запросу "site:домен" и сортировка по дате - тоже нет.

DP
На сайте с 22.02.2015
Offline
32
#4

Переобход не запихивает страницы в индекс моментально (в некоторых ситуациях может - но не всегда и не обязан). Они заходят в индекс с апдейтами.

Что бы проверить реальную ситуацию - есть сервис "проверка URL" - посмотрите что там пишется про страницы, которые "робот обошел", но "вы не видите их в индексе"

Когда-то руководитель группы сервисов для веб-мастеров Компании "Яндекс"
AB
На сайте с 08.06.2015
Offline
17
#5
yoziktyoma:
LazyBadger, все, сказанное вами, вполне логично и понятно, но проблема в том, что в вебмастере все идеально, страницы стабильно заходят и, к счастью, не выходят (с апом), ошибок нет, по крайней мере, в вебмастере не отражаются.

По ключам не пробивается страница после появления статуса "Робот обошел", RDS показывает, что страница не в индексе, по частям текста тоже не пробивается, по запросу "site:домен" и сортировка по дате - тоже нет.

В логах сервера смотрели?

Zegeberg
На сайте с 30.09.2010
Offline
282
#6

Боты ушли в Штаты конгресс переизбирать.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Антибот ( https://antibot.cloud/?ref=15262 )
B
На сайте с 27.01.2008
Offline
175
#7

У меня всё отлично. См. подпись.

Klopopryg
На сайте с 29.12.2004
Offline
344
#8

Кто сказал, что если робот пришел, то сразу изменения? у моих подопечных обычно 1-2 апа проходит.

Лучше выстрелить, перезарядить и еще раз выстрелить, чем светить фонариком и спрашивать - "кто тут?"
B
На сайте с 27.01.2008
Offline
175
#9

Ну свежереги после переобхода 2 дня подряд, дают траф очень быстро и много.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий