клоны в XML-карте и "краулинговый бюджет"

MC
На сайте с 09.04.2012
Offline
125
891

В общем, ситуация такая: на сайте есть рубрики и товары-клоны (особенности архитектуры, 1c-Bitrix :) ). Проблему мы решаем с помощью указания на canonical страницы, в индексе исключительно оригиналы, все счастливы, хоть и на костылях.

Сейчас разрабатываем собственную генерацию xml-карты сайта ( т.к. есть много страниц не из коробки битрикса, встроенная карта не подходит).

Технологически намного сложнее указывать в карте только страницы-оригиналы, без клонов. Грубо говоря, с клонами у нас будет около 80 000 URL в карте сайта. Без клонов - около 60000.

Насколько критично расходовать "краулинговый бюджет" на сканирование клонов? Ведь бот просто придёт по адресу из xml-карты, чтобы узнать, что в ней есть ссылка на каноничную страницу и что текущая страница - клон. Вроде бы бесполезно. Но технологически сильно муторно реализовывать карту без клонов.

Насколько вообще идея о "краулинговом бюджете" является мифом и реальностью? Тиц 550, PR=4 (обновлялся по идее сто лет назад)), пару тысяч бэков.

secondary
На сайте с 20.12.2012
Offline
142
#1

+20000 небольшой объем для поиска, не парьтесь, если индексация на выходе корректная.

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий