Screaming Frog SEO Spider - Как дособирать данные?

H4
На сайте с 14.11.2018
Offline
23
476

Добрый день, господа!

Хотел бы спросить у вас - как можно дособрать отдельные данные?

Как все было: сканировал УРЛы из карты сайта в режиме List - собрал все необходимые данные. Через некоторый промежуток времени, потребовалось узнать блокируются ли выбранные УРЛы в файле robots.txt. Когда собирались основные данные в настройках был выбран пункт "Ignore robots.txt", соответственно фильтр "Blocked by Robots.txt" пустой. Теперь мне нужно дособрать его. Если в настройках выбрать пункт "Ignore robots.txt but report status", сканирование начинается с самого начала, т.е. заново начинают собирается title, desc и т. д. Мне же нужно чтобы эти поля остались (как и все остальные), так как я с ними работаю, но чтобы в фоне началось сканирование проверки статуса с учетом robots.txt. 

Можно ли так сделать?

Собрать все заново не вариант, поскольку интернет-магазин на 400к страниц, а сканировать можно только со скоростью 1 урл/с в один поток.

seout
На сайте с 31.08.2007
Offline
113
#1
Насколько я знаю, функционала "дособрать" у фрога нет. Я бы сделал отдельный проект, убрал все галки в настройках спайдера, что мне собирать не нужно и собрал бы заново. 400к страниц на нормальном компе, на 5 потоках лягушка соберет за несколько часов. Если вопрос в потоках и боитесь продидосить сайт, то лучше посмотреть время наименьшей активности пользователей (ночь/выходные например). Да и в целом, если лягушка на 5 потоках дидосит сайт это не очень хорошо.
A
На сайте с 23.11.2011
Offline
97
#2

Есть ли возможность пересканировать какую-то группу URL?

Например с "No response".  Гуглил, смотрел кучу обзоров/инструкций, так и не нашел как пересканировать.

seout
На сайте с 31.08.2007
Offline
113
#3
Дмитрий Орлов #:

Есть ли возможность пересканировать какую-то группу URL?

Например с "No response".  Гуглил, смотрел кучу обзоров/инструкций, так и не нашел как пересканировать.

ТС (по крайней мере я так понял) нужно пересобрать 1 столбец, с игнорированием сбора по другим столбцам, но при этом старые данные нельзя затирать. Это ветвлегиние и фактически база данных и этого в лягушке нет (по крайней мере по моим данным). А просто пересобрать по фильтру все столбцы заново легко. Отфльтровали, выделил, правой клавишей - пересбор.
H4
На сайте с 14.11.2018
Offline
23
#4
seout #:
Насколько я знаю, функционала "дособрать" у фрога нет. Я бы сделал отдельный проект, убрал все галки в настройках спайдера, что мне собирать не нужно и собрал бы заново. 400к страниц на нормальном компе, на 5 потоках лягушка соберет за несколько часов. Если вопрос в потоках и боитесь продидосить сайт, то лучше посмотреть время наименьшей активности пользователей (ночь/выходные например). Да и в целом, если лягушка на 5 потоках дидосит сайт это не очень хорошо.

Спасибо за ответ! К сожалению увеличить скорость сканирования не получится и технические проблемы решаются не с нашей стороны. Буду искать другой вариант...

Rep4ik
На сайте с 28.10.2015
Offline
44
#5
ТС, посдкажи, удалось ли решить задачу с помощью лягухи? Столкнулся с похожей задачей, но инфы о доп.сканировании в Screaming Frog нигде не нашел.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий