Как редактировать sitemap

FO
На сайте с 06.01.2011
Offline
11
1160

Добрый день, помогите сделать sitemap. на сайте 10 000 стр. Выгрузил урлы с помощью xenu, предварительно исключил запрещенные роботсом. Но остались 900 урлов которые являются дублями.

1. Нужно ли удалять из сайтмпа все что запрощено роботсом, или это не важно

2. Как отредактировать быстро сайтмап - удалить из него лишнее. Пробовал sitemap writer pro - все сделал, но он не схораняет в демо версии (

SK
На сайте с 06.02.2007
Offline
51
#1

Я для создания сайтмапа с некоторых пор пользуюсь замечательной программкой GSiteCrawler. Бесплатная. Имеет кучу настраиваемых параметров. Фильтры (что включать в сайтмап, а что нет). Учитывает robots.txt. На моём сайте порядка 20к страниц, обходит их все за час примерно...

В-общем, настоятельно рекомендую! Куча проблем, о которых Вы говорите, отпадёт сама собой.

BIRTH : Completed successfully. Exit code 0. LIFE : [||||||..............] 37% done. DEATH : Awaiting in system queue...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий