"Если страница закрывается из админ панели ручками то такая страница получает редирект 301 по логике". - Каждый случай надо рссматривать на конкретном сайте, в каком случае 301, а в каком 404
Ну у него логика, страница была 200, стала 404, значит получила no index no follow
sitemap обновляется стандартным скриптомphp -f /home/permedcom/app/www/local/php_interface/sitemap/seo_sitemap_run.php action=sitemap_run ID=1 lang=ru и он каждый раз проходил все новые страницы умного фильтра, но так не был прописан ЧПУ он отдавал базовые значения, а именно id товара.Все оказалось банально, у меня и контента не было настроено поле куда нужно подкидывать УРЛ (из-за этого он и не формировался), а так как программиста в компании нет, пришлось набросать идеи проблем, и пойти от самого простого к фантастике, зашел в настройку формы, смотрю у меня только просмотр формы а не изменение, попросил выдать максимальный доступ, увидел что есть форма с полей ввода УРЛ, добавил. вызвал скрипт вручную и вуаля все отработало. Осталось +/- невалидных ссылок было всего 90~ штук, пробегусь быстро и все.
Я сейчас вижу там с filter.
Nikita4404 кстати обратите внимание в конкретно этом случае %20 в URL - у вас там пробел есть мусорный
т.е. возможно в инфоблоке 31 сейчас у элементов настроен шаблон /catalog/#SECTION_CODE_PATH#/filter/#ELEMENT_CODE#/ - filter вместо tag
Лягушка в базовой настройке ходит только по статическим ссылкам из raw html.
Причин лишних адресов может быть множество, начиная с динамических элементов навигации, которые задействует пользователь и подхватывается Яндекс.Метрикой (если она подключена), заканчивая генерацией вообще несуществующих адресов извне (при этом надо проверять отклик сервера на эти адреса).
Если по всем 404-ые адреса, то редиректить всё подряд не нужно, редирект выполняйте только там где есть рабочая ссылка на ранее удалённый документ (а ссылка полезная).
Что нужно сделать вам - это устранить ссылки в своём сайте, которые могут провоцировать неправильные URL-ы. Вот если они в шаблоне есть - робот будет постоянно по ним ходить и генерировать 404-ые ошибки.
Явные мусорные запросы, которые идут извне - достаточно 404-ой ошибки, главное, чтобы по нерабочих адресам не было 200-х ответов, иначе поиск может проиндексировать эти результаты.
У вас сайт на битриксе, попробуйте посмотреть роботс этого сайта, может что-то полезное найдётся.
servergate.ru/robots.txt
не писал про это, потому-что эти работы по умолчанию у меня))
1) А страницы, которые вы хотите открыть к индексации, содержат полезный контент, товары? - Да товары есть, насчет полезности контента созданного с помощью маски у меня сомнения))2) По ним есть поисковый спрос - в основном это НЧ и СЧ (не пройденные разделы), но это я думаю не больше 20 процентов от общей массы!3) Не являются ли они мусорными техническими страницами? - Спасибо, вы натолкнули меня на мысль, ну по логике наибольшая концентрация фильтров с частотами находится на уровне tag/f1/f2 или f1+f2 По идее я могу ограничиться ими при индексации фильтров, даже если там буду нулевики, это наверно не будет так страшно.4) Конкурентны ли они по сравнению с конкурентами? - скорее да чем нет, в нашем сегменте (медицинское оборудование) в основном прорабатывают самые высоко маржинальные разделы, а остальные для массы делают чтобы комплексно оказать услугу либо поймать на малое, а в последствии со временем выявить потребность на более дорогостоящее оборудование. + большинство крутит ПФ, так что там по органике не подскочить! Поэтому и хочу через смежные разделы получить заявки, контакт и как следствие выявить потребность!
