собрать sitemap

Можно попробовать парсером Алаева. Зависит от ресурсов ПК.

Файл придется разбить аж на 6 частей и создать индексный файл

http://www.sitemaps.org/ru/protocol.html#index

Sitemap штука динамическая. Сделать его один раз и забыть не получится. Соответственно лучше всего, если двиг сам будет формировать список своих же URL... ну ему виднее должно быть сколько у него страниц, чем любому из парсеров.

Можно сделать с помощью программы "Sitemap Writer Pro", например, но зачем изобретать велосипед, да и какой смысл от такой карты, если ластмодифайт там обновляться не будет? Лучше закажите у программиста скрипт, который будет генерировать карту сайта и обновлять ластмодифайт при каждом изменении страницы.

Демо-версия этого парсера парсит всего 150 страниц( А покупать лицензию за 2к из-за одного только сайта слишком накладно. Нет ли каких-нибудь более бюджетных вариантов? В идеале бесплатных😂

парсим сайт прогой screaming frog seo spider, удаляем левые страницы, урлы с параметрами, а потом оставшиеся ссылки загружаем в любой онлайновый сервис генерации сайтмап.

Когда количество страничек перевалит через 100 000 вы удивитесь как упадет скорость этого парсера, даже если отдадите ему все свои 16 гигов оперативы. А потом он начнет выдавать ошибки, что мол памяти нема и проблема будет уже не в железе.

При нынешнем курсе фунта я платил и плакал. Платил и плакал. 12000 рублей на год у SreaminFrog против 2000 руб навечно у Алаева.

BlagFurer, пробовал ставить java 64 bit и править ини файл с настройками?

Сканировал до 200к - не заметил проблем.

а этот скрипт никто не пробовал https://www.xml-sitemaps.com/standalone-google-sitemap-generator.html ? думал как раз над покупкой

Спасибо товарищу Fish_su! Прога собрала все странички еще и на несколько частей есть возможность разбить. Правда процесс сбора занял около суток😂

правильно будет так, как сказано в #2 посте