Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 06.01.2020, 16:46   #1
Студент
 
Регистрация: 25.11.2018
Сообщений: 8
Репутация: 10

По умолчанию как парсить огромный каталог через sfss?

доброго времени суток, уважаемые форумчане)
возник вопрос, собсно сабж - как парсить огромный каталог через sfss?
пока не совсем понимаю, как это происходит
лягушка начинает ругаться уже на 150к страниц, а если их больше 3-4млн?
или как спарсить конкретную категорию, ведь по урлу лягушка также начинает скакать по всем остальным категориям?

хелп плиз
если тема баян - просьба направить в соответствующую ветку
maksfrai вне форума   Ответить с цитированием

Реклама
Старый 06.01.2020, 19:51   #2
maksfrai
Студент
 
Регистрация: 25.11.2018
Сообщений: 8
Репутация: 10

ТопикСтартер Re: как парсить огромный каталог через sfss?

пришёл к мнению, что в самом sfss можно закрыть сайт в robots.txt и открыть через allow нужный раздел

вроде парсит

но, если вложенные страницы, например, товары доступны уже по другим адресам (не раздела), то как в таком случае быть?

---------- Добавлено 06.01.2020 в 19:59 ----------

ещё один способ - парсить в SFSS через настройки CNDs, указав нужный для парсинга раздел или категорию
парсит только те ссылки, которые в ней размещены

в соседней ветке видел, что подобные проекты парсятся серверными скриптами. Может ещё есть альтернативные варианты?
maksfrai вне форума   Ответить с цитированием
Старый 07.01.2020, 00:02   #3
vano
Дипломирован
 
Аватар для vano
 
Регистрация: 12.02.2006
Сообщений: 447
Репутация: 30796

По умолчанию Re: как парсить огромный каталог через sfss?

Либо памяти вагон, либо место хранения диск, в последних версиях есть.
vano вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны