Показать сообщение отдельно
Старый 06.01.2020, 19:51   #2
maksfrai
Студент
 
Регистрация: 25.11.2018
Сообщений: 11
Репутация: 10

ТопикСтартер Re: как парсить огромный каталог через sfss?

пришёл к мнению, что в самом sfss можно закрыть сайт в robots.txt и открыть через allow нужный раздел

вроде парсит

но, если вложенные страницы, например, товары доступны уже по другим адресам (не раздела), то как в таком случае быть?

---------- Добавлено 06.01.2020 в 19:59 ----------

ещё один способ - парсить в SFSS через настройки CNDs, указав нужный для парсинга раздел или категорию
парсит только те ссылки, которые в ней размещены

в соседней ветке видел, что подобные проекты парсятся серверными скриптами. Может ещё есть альтернативные варианты?
maksfrai вне форума   Ответить с цитированием