Доброго времени суток!
Столкнулся с необходимостью спарсить сайт более 1 000 000 страниц программой Screaming Frog SEO Spider.
Проблема в том, что не хватает оперативки для такого объема данных.
Пробовал парсить частями: сперва карточки товаров, затем отдельно категории, но все равно слишком много страниц получается.
Вопросы:
1. Как можно решить эту проблему без покупки дополнительной оперативки?
2. Возможно есть другой софт для парсинга, который не привязан так к объему оперативки?
Буду весьма благодарен за ваши советы!
Для больших объёмов можно увеличить выделенную память:
Configuration - System - Memory Allocation
Для миллиона+ страниц лучше переключиться в режим базы данных:
Configuration - System - Storage Mode - изменить Memory Storage на Database Storage
12 200 было, 9 200 стало
За последних 3 месяца доход упал на 3к.
Платон! Ты тут? Отвечай - ты сапу купил?
Судя по всему, только она и остаётся. при ручном изменении теперь 504.
А что с винкой? Работает же, правда не так полноценно как раньше.
В каком браузере работает?
Я в FF 52. 9. 0 (как рекомендовано) на форуме сапы вижу только виджет "обратиться за помощью")
P.S. "Сапа сдохла" - был шум по форумам, (когда яндекс "поигрался" с сылочным) я смеялся над такими заявлениями. ...Теперь не до смеха)
Как бороться с такими переходами?
Кликов всего - 10, визитов всего у "клиента" так- же 10, что говорит что это одно и то-же лицо или литсо
время просмотра - ноль.
P.S пока писал + ещё такой же клик
- Ответил в ЛС
P.S. вопрос решили, благодарю!
Та же история. С середины апреля ждём-с "первых звёзд"
Наверно зависит от тарифа? (хотел на пробу "Размещение ссылок «Пробный»
(50 ссылок)")
Благодарю за работу и хочу оставить положительный отзыв.
Обращался за комментариями на ИМ мебели в 2015-2016годах и по финансовой тематике в марте этого года. Что ранее, что в этом году выполненная работа нареканий не вызвала. Комменты уникальны, для интернет-магазина были построены в форме вопрос-ответ, что максимально придало вид общения пользователей с администрацией магазина. И на ИМ и на финансовом сайте комменты читаются посетителями (видно по вебвизору).
