1) Правило no index no follow для всех 404 отключаем 2) Добавляем скрипт, в админку на товарные карточки при их закрытии с созданием 301 редиректа на подобные товарные позиции по производителю (если нет), то на категорию с возможностью редактирования пути редиректа на более релевантный. 3) Соответственно ошибки 404 будут подсвечиваться мною программисту, и отдаваться с тз на исправление 4) Старые коды ответа 404 которые периодически подсвечиваются удалятся из индекса с добавлением правила robots
"Если страница закрывается из админ панели ручками то такая страница получает редирект 301 по логике". - Каждый случай надо рссматривать на конкретном сайте, в каком случае 301, а в каком 404
Это автоматическая защита от идиота, который просто хочет закрыть категорию. Судя по 404 такое уже было и не один раз. никто не назначал редиректы никто не удалял категории из индекса никто не ставил запрет в роботс ну и соответственно никто не назначал в ручную редиректы на максимально похожие страницы, а логика каталога к сожалению пока не предусматривает более релевантного размещения
sitemap обновляется стандартным скриптом php -f /home/permedcom/app/www/local/php_interface/sitemap/seo_sitemap_run.php action=sitemap_run ID=1 lang=ru и он каждый раз проходил все новые страницы умного фильтра, но так не был прописан ЧПУ он отдавал базовые значения, а именно id товара.
Все оказалось банально, у меня и контента не было настроено поле куда нужно подкидывать УРЛ (из-за этого он и не формировался), а так как программиста в компании нет, пришлось набросать идеи проблем, и пойти от самого простого к фантастике, зашел в настройку формы, смотрю у меня только просмотр формы а не изменение, попросил выдать максимальный доступ, увидел что есть форма с полей ввода УРЛ, добавил. вызвал скрипт вручную и вуаля все отработало. Осталось +/- невалидных ссылок было всего 90~ штук, пробегусь быстро и все.
Nikita4404 кстати обратите внимание в конкретно этом случае %20 в URL - у вас там пробел есть мусорный
т.е. возможно в инфоблоке 31 сейчас у элементов настроен шаблон /catalog/#SECTION_CODE_PATH#/filter/#ELEMENT_CODE#/ - filter вместо tag
К сожалению не только там, это до меня какой-то умник заводил названия производителя sirona(пробел) или и вовсе сирона, и это не только с этим производителем, особенно печально в стране производства, там проблема, что при изменении сайт падает. Почему не спрашивайте я не знаю, задача на исправление стоит в очереди, но она постоянно сдвигается из-за "очень" важных задач чайка менеджмента
Лягушка в базовой настройке ходит только по статическим ссылкам из raw html.
Причин лишних адресов может быть множество, начиная с динамических элементов навигации, которые задействует пользователь и подхватывается Яндекс.Метрикой (если она подключена), заканчивая генерацией вообще несуществующих адресов извне (при этом надо проверять отклик сервера на эти адреса).
Если по всем 404-ые адреса, то редиректить всё подряд не нужно, редирект выполняйте только там где есть рабочая ссылка на ранее удалённый документ (а ссылка полезная).
Что нужно сделать вам - это устранить ссылки в своём сайте, которые могут провоцировать неправильные URL-ы. Вот если они в шаблоне есть - робот будет постоянно по ним ходить и генерировать 404-ые ошибки.
Явные мусорные запросы, которые идут извне - достаточно 404-ой ошибки, главное, чтобы по нерабочих адресам не было 200-х ответов, иначе поиск может проиндексировать эти результаты.
Badmaestro#: А страницы, которые вы хотите открыть к индексации, содержат полезный контент, товары? По ним есть поисковый спрос? Не являются ли они мусорными техническими страницами?
Конкурентны ли они по сравнению с конкурентами?
Думаю, получив ответы на эти вопросы, вы и сами примите верное решение.)
1) А страницы, которые вы хотите открыть к индексации, содержат полезный контент, товары? - Да товары есть, насчет полезности контента созданного с помощью маски у меня сомнения)) 2) По ним есть поисковый спрос - в основном это НЧ и СЧ (не пройденные разделы), но это я думаю не больше 20 процентов от общей массы! 3) Не являются ли они мусорными техническими страницами? - Спасибо, вы натолкнули меня на мысль, ну по логике наибольшая концентрация фильтров с частотами находится на уровне tag/f1/f2 или f1+f2 По идее я могу ограничиться ими при индексации фильтров, даже если там буду нулевики, это наверно не будет так страшно. 4) Конкурентны ли они по сравнению с конкурентами? - скорее да чем нет, в нашем сегменте (медицинское оборудование) в основном прорабатывают самые высоко маржинальные разделы, а остальные для массы делают чтобы комплексно оказать услугу либо поймать на малое, а в последствии со временем выявить потребность на более дорогостоящее оборудование. + большинство крутит ПФ, так что там по органике не подскочить! Поэтому и хочу через смежные разделы получить заявки, контакт и как следствие выявить потребность!
1) Правило no index no follow для всех 404 отключаем
2) Добавляем скрипт, в админку на товарные карточки при их закрытии с созданием 301 редиректа на подобные товарные позиции по производителю (если нет), то на категорию с возможностью редактирования пути редиректа на более релевантный.
3) Соответственно ошибки 404 будут подсвечиваться мною программисту, и отдаваться с тз на исправление
4) Старые коды ответа 404 которые периодически подсвечиваются удалятся из индекса с добавлением правила robots
"Если страница закрывается из админ панели ручками то такая страница получает редирект 301 по логике". - Каждый случай надо рссматривать на конкретном сайте, в каком случае 301, а в каком 404
никто не назначал редиректы
никто не удалял категории из индекса
никто не ставил запрет в роботс
ну и соответственно никто не назначал в ручную редиректы на максимально похожие страницы, а логика каталога к сожалению пока не предусматривает более релевантного размещения
no index no follow относиться с странице с ответом 200.
Ну у него логика, страница была 200, стала 404, значит получила no index no follow
sitemap обновляется стандартным скриптом
php -f /home/permedcom/app/www/local/php_interface/sitemap/seo_sitemap_run.php action=sitemap_run ID=1 lang=ru и он каждый раз проходил все новые страницы умного фильтра, но так не был прописан ЧПУ он отдавал базовые значения, а именно id товара.
Все оказалось банально, у меня и контента не было настроено поле куда нужно подкидывать УРЛ (из-за этого он и не формировался), а так как программиста в компании нет, пришлось набросать идеи проблем, и пойти от самого простого к фантастике, зашел в настройку формы, смотрю у меня только просмотр формы а не изменение, попросил выдать максимальный доступ, увидел что есть форма с полей ввода УРЛ, добавил. вызвал скрипт вручную и вуаля все отработало. Осталось +/- невалидных ссылок было всего 90~ штук, пробегусь быстро и все.
Я сейчас вижу там с filter.
Nikita4404 кстати обратите внимание в конкретно этом случае %20 в URL - у вас там пробел есть мусорный
т.е. возможно в инфоблоке 31 сейчас у элементов настроен шаблон /catalog/#SECTION_CODE_PATH#/filter/#ELEMENT_CODE#/ - filter вместо tag
Лягушка в базовой настройке ходит только по статическим ссылкам из raw html.
Причин лишних адресов может быть множество, начиная с динамических элементов навигации, которые задействует пользователь и подхватывается Яндекс.Метрикой (если она подключена), заканчивая генерацией вообще несуществующих адресов извне (при этом надо проверять отклик сервера на эти адреса).
Если по всем 404-ые адреса, то редиректить всё подряд не нужно, редирект выполняйте только там где есть рабочая ссылка на ранее удалённый документ (а ссылка полезная).
Что нужно сделать вам - это устранить ссылки в своём сайте, которые могут провоцировать неправильные URL-ы. Вот если они в шаблоне есть - робот будет постоянно по ним ходить и генерировать 404-ые ошибки.
Явные мусорные запросы, которые идут извне - достаточно 404-ой ошибки, главное, чтобы по нерабочих адресам не было 200-х ответов, иначе поиск может проиндексировать эти результаты.
У вас сайт на битриксе, попробуйте посмотреть роботс этого сайта, может что-то полезное найдётся.
servergate.ru/robots.txt
UTM меток
Спасибо! Пошел проверять правильность синтаксиса UTM меток и настройку фасеты!
где кластеризация ? где линковка ?
не писал про это, потому-что эти работы по умолчанию у меня))
А страницы, которые вы хотите открыть к индексации, содержат полезный контент, товары? По ним есть поисковый спрос? Не являются ли они мусорными техническими страницами?
1) А страницы, которые вы хотите открыть к индексации, содержат полезный контент, товары? - Да товары есть, насчет полезности контента созданного с помощью маски у меня сомнения))
2) По ним есть поисковый спрос - в основном это НЧ и СЧ (не пройденные разделы), но это я думаю не больше 20 процентов от общей массы!
3) Не являются ли они мусорными техническими страницами? - Спасибо, вы натолкнули меня на мысль, ну по логике наибольшая концентрация фильтров с частотами находится на уровне tag/f1/f2 или f1+f2 По идее я могу ограничиться ими при индексации фильтров, даже если там буду нулевики, это наверно не будет так страшно.
4) Конкурентны ли они по сравнению с конкурентами? - скорее да чем нет, в нашем сегменте (медицинское оборудование) в основном прорабатывают самые высоко маржинальные разделы, а остальные для массы делают чтобы комплексно оказать услугу либо поймать на малое, а в последствии со временем выявить потребность на более дорогостоящее оборудование. + большинство крутит ПФ, так что там по органике не подскочить! Поэтому и хочу через смежные разделы получить заявки, контакт и как следствие выявить потребность!