Яндекс робот обходит непонятные страницы и отдает 404

B
На сайте с 27.05.2018
Offline
111
1010

Заметил картину в Явебмастере "статистика обхода". Робот бегает по непонятным страницам, точнее непонятно где он их берет. Пример

site.ru/avto/kupit-novy/ - это правильный адрес, который есть на сайте с ответом 200 ОК. Ниже будут URL по которым он отдавал Было N / a стало 404 Not Found

site.ru/avto/kupit-novy

site.ru/avto/kupit-novy/попро

site.ru/avto/kupit-novy/asd%as32%

site.ru/avto/ - kupit - novy/

site.ru/avto/ - kupit - novy

Даже интересный факт того, что вместо kupit в URL есть prodat, что в априори не может быть даже ошибочным написанием.

site.ru/avto/prodat-novy

Где он их находит? Сталкивался кто с таким? Куда ковырнуть? Сайт WP

Кот в шапке
На сайте с 01.02.2019
Offline
33
#1

Biomusor, Проверьте для начала с помощью SiteAnalyzer или Xenu’s на битые ссылки, мб увидите где яша их находит.

Руководитель отдела ликвидации клиентов!
T1
На сайте с 13.12.2016
Offline
24
#2

Неправильно у вас работа с дублями настроена.

Правильно должно быть так:

Страница site.ru/avto/kupit-novy должна иметь 301 редирект на site.ru/avto/kupit-novy/, но не в коем случае не выдавать 404 ошибку.

точнее непонятно где он их берет

Очевидно что из перелинковки, причём либо той где вы вручную проставили ссылки без слеша, либо в пунктах меню где у вас также могут стоять ссылки без слеша.

Уберите 404 код ответа с дублей и настройте 301 редирект, проблема исчезнет

B
На сайте с 27.05.2018
Offline
111
#3
tyktyk1:
Неправильно у вас работа с дублями настроена.
Правильно должно быть так:
Страница site.ru/avto/kupit-novy должна иметь 301 редирект на site.ru/avto/kupit-novy/, но не в коем случае не выдавать 404 ошибку.


Очевидно что из перелинковки, причём либо той где вы вручную проставили ссылки без слеша, либо в пунктах меню где у вас также могут стоять ссылки без слеша.

Уберите 404 код ответа с дублей и настройте 301 редирект, проблема исчезнет

Дело в том, что таких ссылок нет, и дублей с такими ссылками тоже не может быть так как WP сам редиректит без слеша на слеш. Мньше всего волнует со слешем и без, как другие непонятные URL :)

Vladimir
На сайте с 07.06.2004
Offline
530
#4
Biomusor:
Дело в том, что таких ссылок нет, и дублей с такими ссылками тоже не может быть так как WP сам редиректит без слеша на слеш. Мньше всего волнует со слешем и без, как другие непонятные URL :)

Такие ссылки есть, но на стороннем сайте

Сссылки должны отдавать 404, яндекс их обходить и не добавлять никуда. Никак не 301, ибо мало ли какой там анкор стоит

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Anamnado
На сайте с 08.02.2010
Offline
242
#5
Biomusor:
Где он их находит?

не важно , вариантов мульен

если они возвращают 404 проблема отсутствует.

B
На сайте с 27.05.2018
Offline
111
#6
Кому интересно проблему решил. Дело в том, что было включен доступ роботу к метрики и он всасывал весь шлак. Отключайте доступ в вебмастере к метрики и не будет мусора.
Vladimir
На сайте с 07.06.2004
Offline
530
#7
Biomusor #:
Кому интересно проблему решил. Дело в том, что было включен доступ роботу к метрики и он всасывал весь шлак. Отключайте доступ в вебмастере к метрики и не будет мусора.

Зачем давать советы, плохого решения? Метрика просто фиксирует шлак который есть, и в вебмастере вы будете его видеть, заодно и проверять, что ваш сайт на это отвечает и принимать меры.
Так, где берется шлак? К примеру Авито формирует, подствим ссылочку на свои страницы и проверим, что отдает сайт - должен 404 (301), у большинства отдаст 200

страница/?pm_source=avito.ru&pm_block=none&pm_position=0

Математику знаете, считать умеете? Сколько можно дублей создать? - бесконечность

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий