Яндекс показывает в вебмастере несуществующие страницы

123
csnet
На сайте с 05.08.2016
Offline
103
#11
Яша вообще идексирует те страрици, которые закрыты в robots.txt  :D
Vladimir
На сайте с 07.06.2004
Offline
614
#12
csnet #:
Яша вообще идексирует те страрици, которые закрыты в robots.txt  :D

Вначале  индексирует, потом согласно правила robots.txt выкидывает, и получаем такой длительный продолжительный процесс. Т.е яндекс на вашем сайте не индексирует, а занимается тупизмом в цикле.... Ну разные отделы в Яндексе все это программят, и между собой не контачат.

Еще раз напишу - на сайте не должно быть дублей. Страницы - нужно закрывать доступ, а не в robots.txt
Тогда Яндекс займется делом

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Vladimir SEO
На сайте с 19.10.2011
Online
2049
#13
Vladimir #:

Комп древний,  и даже лиса почему-то не открыла.

впн, роскомпозор блочит лайтшот наверное
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
Y
На сайте с 01.04.2018
Offline
41
#14
kustov #:
 Эти страницы когда-либо были на сайте?

Когда-то были но я их с полгода назад удалил и ссылки с них поубирал. А яндекс всё равно их обходит почему-то

Y
На сайте с 01.04.2018
Offline
41
#15
Антоний Казанский #:

Значит для Яндекса есть доп. сигналы для адресов этих страниц.


Вы можете о них не знать или не видеть их. Их могу ошибочно генерировать код в каком-нибудь шаблоне, также могут быть внешние ссылки.


Оформляйте редиректы для этих адресов. Если это служебные разделы - закрывайте разделы для переобхода роботом.


Конечно. Не единожды.

Вы пишете настраивать редиректы. Рекомендуете 301 редирект на страницу-заглушку или главную, вместо 404 с этих удаленных страниц сделать, которые яндекс продолжает где-то находить?

Vladimir SEO
На сайте с 19.10.2011
Online
2049
#16
yuriynik #:
Вы пишете настраивать редиректы.
которые он тоже по пол года переиндексирует
Y
На сайте с 01.04.2018
Offline
41
#17
Vladimir SEO #:
которые он тоже по пол года переиндексирует
Т.е. чтобы 301 ответ эти страницы отдавали а не 404 как сейчас, так? Яндекс склеит эти страницы и перестанет обходить их?
Vladimir SEO
На сайте с 19.10.2011
Online
2049
#18
yuriynik #:
Т.е. чтобы 301 ответ эти страницы отдавали а не 404 как сейчас, так? Яндекс склеит эти страницы и перестанет обходить их?
я выше уже написал он и 404 и редиректы по пол года кушает, так что это не выход .
NonexisT
На сайте с 05.02.2009
Offline
125
#19
Он же не одни и те же страницы перелопачивает с 404? Если сервер не вывозит - закрывайте в роботсе. В остальном это всё в пользу бедных. Закроешь всё в роботс - робот просто станет меньше страниц обходить, при этом он о закрытых в роботсе страницах не забудет. 
Я вот расчехлил домен, который пол года назад полностью был закрыт к индексации, если не год - сегодня 900 страниц 404 показывает Яндекс, хотя на сайте 6 двухсотых. 
Refmate.ru - сервис для обмена ссылками
Y
На сайте с 01.04.2018
Offline
41
#20
Понял, спасибо всем за информацию и подсказки.
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий