Ошибка восприятия относительных урлов Яндексом

[Charli]

Доброго дня

Есть категория
/cat1/cat2/cat3

внутри категории карточки товаров, у которых указан бренд, являющийся ссылкой /brands/brand1

яндекс упорно пытается просканировать выдуманный им же адрес /cat1/cat2/cat3/brands/brand1

Почему так может происходить? Ссылки все относительные от корня. Воспроизвести получение такого урла руками никак не получилось.

[Cuys]

robots.txt давно проверяли? релканоникал ?

[Charli]

Сообщение от Cuys

robots.txt давно проверяли? релканоникал ?

как каноникал может влиять на урлы?

указан https://site.ru/cat1/cat2/cat3

в роботсе только несколько запрещенных папок, больше ничего

[awasome]

Сообщение от Charli

Почему так может происходить?

Потому что бот тянет все урлы, которые создаются кем угодно, а их создают говноботы и всякое отребье. Раньше можно было отключить в метрике, теперь нет. Если каноникал настроен, пусть себе чекает на здоровье, на выдаче это не должно отразиться.

[Кузя Е]

Либо неправильная ссылка есть
Либо она была раньше
Сталкивался, удалите неправильные ссылки в вебмастере

---------- Добавлено 16.11.2019 в 16:35 ----------

Мне помогло

[burunduk]

Charli, гарантированно ошибка на вашей стороне, запустите сканирование сайта любым нормальным парсером

[Charli]

Вспомнил, что такие ошибочные урлы были, но было это очень давно, месяцев 7-8 назад. И эти страницы не отдавали 404ю ошибку, а грузилась пустая категория просто. 404ю недавно для таких страниц настроили.

Возможно что из-за этого так долго он пытается стучать?

[burunduk]

Сообщение от Charli

Возможно что из-за этого так долго он пытается стучать?

он всё время будет туда ломиться, просто чем дольше там будет 404 тем реже он будет это делать

[DiKiJ]

Сообщение от burunduk

он всё время будет туда ломиться, просто чем дольше там будет 404 тем реже он будет это делать

Иногда проще настроить редирект )) у меня и через 2 - 3 - 5 лет ломились на 404.

[Charli]

Сообщение от DiKiJ

Иногда проще настроить редирект )) у меня и через 2 - 3 - 5 лет ломились на 404.

а это уже другой философский вопрос ))

Что лучше, 404 или редирект на нужную категорию?