Как исключить в sitemap страницы?

Brazilena
На сайте с 18.07.2012
Offline
60
1144

Доброго времени суток! Столкнулась с проблемой. Не хватает понимания и знаниий.

Генерирую карту из 10 000 страниц через A1 Sitemap Generator.

Как исключить из sitemap.xml все страницы, которые не должны индексироваться? Страницы пагинации например...В robots.txt прописан запрет.

Спасибо!

Единственный способ стать умнее — играть с более умным противником.
- Romanus -
На сайте с 20.01.2015
Offline
91
#1

Brazilena, генерировать сайтмап сервисом/софтом, который учитывает Robots.txt при составлении карты сайта.

Быть может и в А1 есть такая есть.

От себя посоветую платный софт по анализу сайта "Website auditor", там есть такая функция.

Вариант номер 2 - парсить все урлы, потом с помощью регулярок удалять то, что попадает под robots.txt - сгенерировать карту сайта из оставшихся урлов.

Делаю SEO. Веду блог - Romanus.ru ( https://romanus.ru )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий