Обход в вебмастере 404 страниц

HS
На сайте с 22.09.2021
Offline
5
349

Коллеги, здравствуйте!

Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404? 

Ссылок на них на сайте нет, в sitemap тоже нет.


И второй вопрос: правильно я понимаю,  что сначала робот обходит страницы и мы видим это в отчете "Статистика обход", а затем определяет что с ними делать - добавить в индекс или исключить и мы видим это в отчете "Страницы в поиске"? Т.е. что бы узнать дату, когда страница стала 404 можно увидеть это в "Статистике обхода", а когда она была исключена из индекса в "Страницы в поиске"?

Vladimir SEO
На сайте с 19.10.2011
Offline
1482
#1
holod.seo :
почему в статистике обхода Вебмастера регулярно обходятся страницы 404?
потому что есть база своя у Яндекса по которой он может годами лазить и даже в индекс заносить 404 , наблюдал такое около года на одном ИМ
ᐈ Накрутка ПФ в Яндексе - 200р за 1 запрос! Бесплатный Тест! https://t.me/Enot2292 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/ Ссылки под бурж и СНГ https://prposting.com/ru/ref/A5DAJln4
L7
На сайте с 23.04.2005
Offline
183
#2
Что в Яндексе, что в Гугле такая история, даже на 404 страницы, на которые уже сто лет, как вообще нет ссылок (были, но удалились), все равно долгими годами продолжают регулярно заходить🤔 Просто забейте)
Проверка добытых беклинков, мастхэв для сеошников ( https://prozavr.ru/ ) | Массовая проверка Яндекс ИКС ( https://prozavr.ru/tools/massovaya_proverka_iks.php ) | Скачивалка фото из ВК и Пинтереста ( https://prozavr.ru/tools/parser_kartinok.php ), для получения тонн картинок для ваших проектов.
Виктор Петров
На сайте с 05.01.2020
Offline
239
#3
holod.seo :
Ссылок на них на сайте нет, в sitemap тоже нет.

А вы уверены, что их реально нет? canonical, скажем, ничего такого не содержит?

SEO-аудиты для интернет-магазинов ( https://textarget.ru/seo-audit-sajta/ )
Антоний Казанский
На сайте с 12.04.2007
Offline
468
#4
holod.seo :
Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404?

Потому что у поисковой системы своя очередь переобхода страниц сайта по рабочим сигналам и эту очередь 

а) невозможно увидеть

б) невозможно вручную корректировать

Перебирать битые и неактуальные адреса робот может долгими месяцами, можно лишь вклиниться в очередь заявками на приоритетный переобход через Вебмастер. И это действительно работает.

Именно поэтому важно заниматься вопросами корректной структуры сайта, отсекания всего лишнего и регулирования процесса индексации, иначе поиск может месяцами жевать неактуальные адресации, а в некоторых случаях (в частности Гугл) может вообще стопориться по индексации, когда supplemental index перекрывает объём полезного индекса на порядок. 


holod.seo :
Ссылок на них на сайте нет, в sitemap тоже нет.

Вы о них можете не знать и не видеть. Адреса переобхода могут формироваться ошибками в относительной адресации, служебными get параметрами, метками, ошибками компонентов, плагинов и т.д. Внешние ссылки также являются источниками доп. сигналов.


holod.seo :
И второй вопрос: правильно я понимаю,  что сначала робот обходит страницы и мы видим это в отчете "Статистика обход"

Нет, сначала робот обходит, а потому уже информация передаётся в статистику пользователю. Т.е. информация в индексе, которую можно увидеть и проверить - она появляется раньше, чем пользователь получает уведомления в панели Вебмастера. 

√ SEO продвижение, экспертный аудит сайтов ( http://akazansky.ru/audit-sajtov ), разбор ценообразования стоимости SEO услуг ( https://akazansky.ru/skolko-stoit-seo-prodvizhenie ).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий