Нагрузка на сайт из-за индексации страниц с фильтрами

D
На сайте с 05.12.2012
Offline
95
183

Добрый день!

На сайте присутствует каталог с фильтрами/категориями товара.

Изначально робот гугла внутрь категорий не влезал и не индексировал отдельно каждую из возможных страниц типа сайт.ру/товар/фильтр1-фильтр23-фильтр83

После того как создали сайтмапу, робот начал индексировать неимоверное количество страниц сайта и создавать огромную нагрузку на сервер. Хостер выказывает сильное недовольство.

Каким образом можно исключить из индексации страницы (исключить из карты сайта?), в которых выбрано, например, более двух фильтров?

Они не нужны в индексе.

В файле robots.txt насколько я понимаю этого не сделаешь.

Закрывать через мета-тег <meta name="robots" content="nofollow,noindex" />?

Но для этого нужны урлы всех возможных комбинаций фильтров.

Как их получить?

Вручную анриал

Можете подсказать как поступить?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий