Зачем яша индексирует 404 страницы?

H
На сайте с 12.07.2020
Offline
25
275

Всем привет.
В вебмастере вижу как яша сам себе находит странные страницы (site.ru/kak-stroit-banu.html к примеру), потом сам же их и индексирует, хотя выдается 404 ошибка:  https://imgur.com/GcwJEVe (чек хост).

Хотел спросить, можно ли как-то дополнительно на неугомонного робота влиять? Или только вручную потом страницы удалять из индекса?

https://clck.ru/QRq9r – дешевые абузостойкие VPS с бесплатным администрированием по всему миру!
Lazy Badger
На сайте с 14.06.2017
Offline
231
#1

1. URL с кодом ответа 404 не попадает в индекс (по определению). Ничего и нечего "удалять"

2. Из воздуха эти URLы не появляются - или битые линки есть на самом сайте, или они были найдены на внешних ресурсах. Осталось только определить природу этих ссылок и сделать правильный вывод и действия

Производство жести методом непрерывного отжига
Snake800
На сайте с 02.02.2011
Offline
215
#2
Дор, скорее всего.
A
На сайте с 23.11.2011
Offline
119
#3
helveticafont :

Всем привет.
В вебмастере вижу как яша сам себе находит странные страницы (site.ru/kak-stroit-banu.html к примеру), потом сам же их и индексирует, хотя выдается 404 ошибка:  https://imgur.com/GcwJEVe (чек хост).

Хотел спросить, можно ли как-то дополнительно на неугомонного робота влиять? Или только вручную потом страницы удалять из индекса?

Скрин из ЯВМ приложите

artweber
На сайте с 21.10.2010
Offline
78
#4

Первым делом, просканируйте сам сайт на наличие ссылок на битые страницы. К примеру прогой Xenu (древняя), Screaming Frog SEO Spider или Netpeak Spider (в бета-версии можно просканировать без сохранения отчета).

M
На сайте с 20.03.2020
Offline
19
#5
helveticafont :
Хотел спросить, можно ли как-то дополнительно на неугомонного робота влиять? Или только вручную потом страницы удалять из индекса?

Самое лучшее влияние - это нормальное общение с роботом по средствам команд. Если страница рабочая - 200, если отсутствует - 404 и.т.д. 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий