Форум Не про работу Железо и софт

как парсить огромный каталог через sfss?

M
На сайте с 25.11.2018
Offline
15
maksfrai
563

доброго времени суток, уважаемые форумчане)

возник вопрос, собсно сабж - как парсить огромный каталог через sfss?

пока не совсем понимаю, как это происходит

лягушка начинает ругаться уже на 150к страниц, а если их больше 3-4млн?

или как спарсить конкретную категорию, ведь по урлу лягушка также начинает скакать по всем остальным категориям?

хелп плиз

если тема баян - просьба направить в соответствующую ветку

M
На сайте с 25.11.2018
Offline
15
maksfrai
#1

пришёл к мнению, что в самом sfss можно закрыть сайт в robots.txt и открыть через allow нужный раздел

вроде парсит

но, если вложенные страницы, например, товары доступны уже по другим адресам (не раздела), то как в таком случае быть?

---------- Добавлено 06.01.2020 в 19:59 ----------

ещё один способ - парсить в SFSS через настройки CNDs, указав нужный для парсинга раздел или категорию

парсит только те ссылки, которые в ней размещены

в соседней ветке видел, что подобные проекты парсятся серверными скриптами. Может ещё есть альтернативные варианты?

vano
На сайте с 12.02.2006
Offline
127
vano
#2

Либо памяти вагон, либо место хранения диск, в последних версиях есть.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий