Яндекс.Вебмастер

Какой то бред) опять добавлять)

Ну я как-то от них очень пытался ответа (точнее решения) по вопросу получить несколько лет назад. Воз и ныне там. С другой стороны обычно это чисто дубли. А вот что оно захочет выбрать - уже очень большая проблема.

p.s. про клиан-парам и т.п. чушь типа каноникалов в данном случае рассказывать не надо. Хотя, теоретически можно сослаться на что - сайт может разбирать параметры не средствами, к примеру, стандартными php, а своими внутренними, типа через qsa. Типа порядок тогда жутко важен может быть, зависит от криворукости исполнителя.

если на сайте используются параметры и их порядок не важен, то это и есть криворукость исполнителя и без разницы чем они разбираются

Столкнулся с проблемой. В Яндекс.Вебмастере в разделе история обхода показываются какие-то непонятные урлы, при заходе по ним робота выдает 404 ошибку, так как таких страниц не существует на сайте. В некоторых урлах лишние символы, в некоторых целые фразы, некоторые обрезаны или с пробелами. Проверял сайт разными сервисами на битые ссылки, все нормально. Откуда они берутся? Может кто сталкивался, подскажите пожалуйста... Писал в саппорт вразумительного ответа не получил. Сайт на WP.

могут ссылки входящие быть на эти страницы (уж не знаю откуда) и будет такой эффект. общался как-то с платоном по подобной штуке

Да видимо такие ссылки с каких-то помоек, но что с этим делать? Как бороться? Или оставить как есть?

Ссылки с помоек, взлом, либо тупо галка Запрет отправки на индексацию страниц сайта в метрике не стоит - тогда при любом добавлении символов в адресную строку метрика будет видеть этот адрес и пытаться на него попасть, получая 404.

Да, действительно такая галка не стояла. Поставлю посмотрю, что получится...

Заметил сегодня в Яндекс.Вебмастере новую категорию "Скорость обхода" в разделе "Индексирование"

Нужна ли эта настройка вообще? Кто что думает? Не такие уже крупные сайты имею, что бы при обходе ботов сайт колом становился.

У кого покрупнее, нагружает бот яндекса ваш сайт?

"Максимальная скорость обхода сайта считается исходя из оптимальной скорости обхода, рассчитываемой Яндексом. Индивидуальную скорость обхода сайта можно регулировать. "

"Изменяйте скорость обхода, только когда запросы робота замедляют ваш сервер. Установленные значения носят для робота рекомендательный характер."

---------- Добавлено 16.02.2018 в 09:32 ----------

https://yandex.ru/blog/webmaster/skorost-obkhoda-ili-ob-izmeneniyakh-v-uchete-direktivy-crawl-delay

Больше информации здесь

Ну у Гоши это давно, но функция полезная, особенно для очень крупных проектов.