Обход в вебмастере 404 страниц

HS
На сайте с 22.09.2021
Offline
2
194

Коллеги, здравствуйте!

Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404? 

Ссылок на них на сайте нет, в sitemap тоже нет.


И второй вопрос: правильно я понимаю,  что сначала робот обходит страницы и мы видим это в отчете "Статистика обход", а затем определяет что с ними делать - добавить в индекс или исключить и мы видим это в отчете "Страницы в поиске"? Т.е. что бы узнать дату, когда страница стала 404 можно увидеть это в "Статистике обхода", а когда она была исключена из индекса в "Страницы в поиске"?

Vladimir SEO
На сайте с 19.10.2011
Offline
1356
#1
holod.seo :
почему в статистике обхода Вебмастера регулярно обходятся страницы 404?
потому что есть база своя у Яндекса по которой он может годами лазить и даже в индекс заносить 404 , наблюдал такое около года на одном ИМ
ᐈ Лучшая проверка позиций http://allpositions.ru/redirect/10965 ᐈПродвижение коммерческих сайтов https://kulinenko.com/
L7
На сайте с 23.04.2005
Offline
177
#2
Что в Яндексе, что в Гугле такая история, даже на 404 страницы, на которые уже сто лет, как вообще нет ссылок (были, но удалились), все равно долгими годами продолжают регулярно заходить🤔 Просто забейте)
Проверка добытых беклинков, мастхэв для сеошников ( https://prozavr.ru/ ) | Массовая проверка Яндекс ИКС ( https://prozavr.ru/tools/massovaya_proverka_iks.php ) | Скачивалка фото из ВК и Пинтереста ( https://prozavr.ru/tools/parser_kartinok.php ), для получения тонн картинок для ваших проектов.
Виктор Петров
На сайте с 05.01.2020
Offline
169
#3
holod.seo :
Ссылок на них на сайте нет, в sitemap тоже нет.

А вы уверены, что их реально нет? canonical, скажем, ничего такого не содержит?

SEO-аудиты и консультации (https://textarget.ru)
Антоний Казанский
На сайте с 12.04.2007
Offline
356
#4
holod.seo :
Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404?

Потому что у поисковой системы своя очередь переобхода страниц сайта по рабочим сигналам и эту очередь 

а) невозможно увидеть

б) невозможно вручную корректировать

Перебирать битые и неактуальные адреса робот может долгими месяцами, можно лишь вклиниться в очередь заявками на приоритетный переобход через Вебмастер. И это действительно работает.

Именно поэтому важно заниматься вопросами корректной структуры сайта, отсекания всего лишнего и регулирования процесса индексации, иначе поиск может месяцами жевать неактуальные адресации, а в некоторых случаях (в частности Гугл) может вообще стопориться по индексации, когда supplemental index перекрывает объём полезного индекса на порядок. 


holod.seo :
Ссылок на них на сайте нет, в sitemap тоже нет.

Вы о них можете не знать и не видеть. Адреса переобхода могут формироваться ошибками в относительной адресации, служебными get параметрами, метками, ошибками компонентов, плагинов и т.д. Внешние ссылки также являются источниками доп. сигналов.


holod.seo :
И второй вопрос: правильно я понимаю,  что сначала робот обходит страницы и мы видим это в отчете "Статистика обход"

Нет, сначала робот обходит, а потому уже информация передаётся в статистику пользователю. Т.е. информация в индексе, которую можно увидеть и проверить - она появляется раньше, чем пользователь получает уведомления в панели Вебмастера. 

√ SEO консалтинг, маркетинговые изыскания, поиск новых точек роста, экспертный аудит сайтов ( http://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Отзывы ( https://goo.su/9C96 ).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий