Лягушка в базовой настройке ходит только по статическим ссылкам из raw html.
Причин лишних адресов может быть множество, начиная с динамических элементов навигации, которые задействует пользователь и подхватывается Яндекс.Метрикой (если она подключена), заканчивая генерацией вообще несуществующих адресов извне (при этом надо проверять отклик сервера на эти адреса).
Если по всем 404-ые адреса, то редиректить всё подряд не нужно, редирект выполняйте только там где есть рабочая ссылка на ранее удалённый документ (а ссылка полезная).
Что нужно сделать вам - это устранить ссылки в своём сайте, которые могут провоцировать неправильные URL-ы. Вот если они в шаблоне есть - робот будет постоянно по ним ходить и генерировать 404-ые ошибки.
Явные мусорные запросы, которые идут извне - достаточно 404-ой ошибки, главное, чтобы по нерабочих адресам не было 200-х ответов, иначе поиск может проиндексировать эти результаты.
У вас сайт на битриксе, попробуйте посмотреть роботс этого сайта, может что-то полезное найдётся.
servergate.ru/robots.txt
не писал про это, потому-что эти работы по умолчанию у меня))
1) А страницы, которые вы хотите открыть к индексации, содержат полезный контент, товары? - Да товары есть, насчет полезности контента созданного с помощью маски у меня сомнения))2) По ним есть поисковый спрос - в основном это НЧ и СЧ (не пройденные разделы), но это я думаю не больше 20 процентов от общей массы!3) Не являются ли они мусорными техническими страницами? - Спасибо, вы натолкнули меня на мысль, ну по логике наибольшая концентрация фильтров с частотами находится на уровне tag/f1/f2 или f1+f2 По идее я могу ограничиться ими при индексации фильтров, даже если там буду нулевики, это наверно не будет так страшно.4) Конкурентны ли они по сравнению с конкурентами? - скорее да чем нет, в нашем сегменте (медицинское оборудование) в основном прорабатывают самые высоко маржинальные разделы, а остальные для массы делают чтобы комплексно оказать услугу либо поймать на малое, а в последствии со временем выявить потребность на более дорогостоящее оборудование. + большинство крутит ПФ, так что там по органике не подскочить! Поэтому и хочу через смежные разделы получить заявки, контакт и как следствие выявить потребность!
1. Золотое правило, у фильтра в индексе минимум 2 товара.
2. Золотое правило -) Делайте синонимы до уровня category or tag/f1/f2 или f1+f2. Если есть востребованные связки, то и f3. Группы фильтрации должны иметь приоритет. Ну и да, есть нюанс с несколькими активными фильтрами в одной группе. Да ещё куча нюансов, так-то. ) Их я бы вообще выкинул из индекса.
Добрый день! Оба правила в работеcategory or tag/f1/f2 или f1+f2 - у нас это фильтры (также заметили что если мы вытягивает такие фильтры "визуально в тег" переходы внутри сайта растут, а пользователи меньше пользуются фильтрами состоящими из 2 и более компонентов.f3 - у нас реализованы в 90 процентах случаях через теги, так как не вписываются в логичную фильтрацию.Спасибо за ответ, но вопрос скорее про другоеЕсли я открою к индексации все фильтры предварительно закинув в них, маски с текстовым контентом и маски с метой индивидуальной для каждого подраздела, не посчитает ли поисковик такой контент малоценным и не зарубит мне выдачу? И второй вопрос стоит ли удалить все фильтры из индекса и сайта свернутых "закрытых" разделов, чтобы визуально было легче работать с массивом данных и не будет ли каких последствий?
