Вот почему я раньше не увидел этот комментарий) я думал это только у меня такой ужас творится и потратил миллион времени на его изучение.
Кстати получилось быстрее переобойти страницы путём изменения URL и постройки 301 редиректа со старого URLа на новый. Что подтверждает, что Гугл-бот по новым URLам ходит охотнее.
Вернее ну как "быстрее". В принципе переобойти, так как бот совсем пропал с сайта на много месяцев до этих манипуляций. Хотя может и совпадение, но не думаю, но может... 🤔
ЗЫ: сайт статичный HTML предлагающий одну услугу, новые страницы на нём появляются крайне редко т.к. особенность тематики.
Тут не соглашусь - для ИМ всё же карточки товаров лишними не будут.
А в целом да, такие вопросы не должны возникать хотя бы потому, что вряд ли разработчики битрикса не знают как создавать сайтмап. :)
Если у ИМ одни и те же товары продаются годами, как это бывает в мебельных магазинах (имею опыт работы с несколькими), то этим карточкам достаточно 1 раз проиндексироваться. Исключение может составлять желание вывода цены в сниппете которая постоянно обновляется. Тут соглашусь, может быть полезно, но других поводов не вижу.
Палю тему: для новых карточек товаров можно сделать отдельный файл карты сайта, чтобы в консоли скармливать, не на мебельном но всё же вот реализовали, в отдельный сайтмеп попадают все карточки товаров с пометкой "новинка".
Про краулинговый бюджет. На большом сайте его таки для гугла стоит экономить. Если страничка не менялась - незачем её переобходить.
Да и на большом сайте, который не только большой по количеству страниц, но и по качеству контента и, естественно, количеству ссылок, бот и так будет жить постоянно. Может мы всё же играем в испорченный телефон? Попробуйте объяснить мне пожалуйста зачем вам краулинговый бюджет
Всё чаще подобные темы встречаются, вот только вопрос: кто вам сказал что в SITEMAP должны быть ВСЕ страницы сайта?
для экономии бюджетов сканирования.
Это вы сейчас о чем?
Мой выбор - бездействие! Ибо зачем платить, если результат один? :)