Парсинг отдельных параметров в Screaming Frog

12
Павел Горбунов
На сайте с 13.06.2011
Offline
115
2248

Коллеги, всем привет.

Кто-нибудь знает, можно ли в Screaming Frog настроить парсинг так, чтобы собирались не все параметры, а только те, которые мы задаем? условно говоря, только собрать твои параметры (Например, только Н1), а не собирать все параметры по каждой странице?

Как это можно сделать?

Не стремитесь сделать лучше - улучшайте!
SF
На сайте с 07.09.2004
Offline
167
SAF
#1
Павел Горбунов:
Коллеги, всем привет.
Кто-нибудь знает, можно ли в Screaming Frog настроить парсинг так, чтобы собирались не все параметры, а только те, которые мы задаем? условно говоря, только собрать твои параметры (Например, только Н1), а не собирать все параметры по каждой странице?
Как это можно сделать?

Вроде никак. А зачем это? Ведь собрав всё можно смотреть только то то нужно.

Павел Горбунов
На сайте с 13.06.2011
Offline
115
#2
SAF:
Вроде никак. А зачем это? Ведь собрав всё можно смотреть только то то нужно.

время.

для большого сайта очень долго собирать все параметры.

A
На сайте с 23.04.2019
Offline
13
#3

Скажите, а как вы вообще парсите большой сайт? Я как раз тему создала с вопросом - как это делать для сайта, у которого в поиске 2 млн страниц, а сам он состоит из 8 млн. Мне посоветовали по битым ссылкам Xenu, но процесс очень долго проходит, возможно есть какие-то умные методы, как такие сайты анализировать?

Павел Горбунов
На сайте с 13.06.2011
Offline
115
#4
Anlel:
Скажите, а как вы вообще парсите большой сайт? Я как раз тему создала с вопросом - как это делать для сайта, у которого в поиске 2 млн страниц, а сам он состоит из 8 млн. Мне посоветовали по битым ссылкам Xenu, но процесс очень долго проходит, возможно есть какие-то умные методы, как такие сайты анализировать?

пробовал разные сервисы.

Можно использовать Нетпик, можно - https://jetoctopus.com/, можно - https://seo-utils.ru/.

Но наверняка есть и другие сервисы.

A
На сайте с 23.04.2019
Offline
13
#5

Павел Горбунов,

Спасибо!

S
На сайте с 23.01.2006
Offline
121
#6

Явное непонимание, как работают парсеры подобного рода (что NetPeak, что Screaming Frog, что Xenu).

99% времени уходит на выкачивание страниц и выбор ссылок с этих страниц для остроение очереди далее скачиваемых страниц - вот тут есть потери времени, т.к. логично делается проверка на уникальные адреса в очереди, чтобы по 10 раз один и тот же URL не скачивать - эти процессы на больших объемах затратны.

Все остальное извлекаемое - все те параметры, на обработке которых Вы думаете "съэкономить" - это статистически незначимые затраты времени.

Так что вопрос в принципе бессмысленный. Будучи выкаченной на компьютер, страница парсится почти моментально.

Павел Горбунов
На сайте с 13.06.2011
Offline
115
#7
sPoul:
Явное непонимание, как работают парсеры подобного рода (что NetPeak, что Screaming Frog, что Xenu).

99% времени уходит на выкачивание страниц и выбор ссылок с этих страниц для остроение очереди далее скачиваемых страниц - вот тут есть потери времени, т.к. логично делается проверка на уникальные адреса в очереди, чтобы по 10 раз один и тот же URL не скачивать - эти процессы на больших объемах затратны.

Все остальное извлекаемое - все те параметры, на обработке которых Вы думаете "съэкономить" - это статистически незначимые затраты времени.

Так что вопрос в принципе бессмысленный. Будучи выкаченной на компьютер, страница парсится почти моментально.

ок, понятно.

хотя какого-то решения все равно не найдено.

СЖ
На сайте с 25.11.2009
Offline
85
#8
Anlel:
Скажите, а как вы вообще парсите большой сайт? Я как раз тему создала с вопросом - как это делать для сайта, у которого в поиске 2 млн страниц, а сам он состоит из 8 млн. Мне посоветовали по битым ссылкам Xenu, но процесс очень долго проходит, возможно есть какие-то умные методы, как такие сайты анализировать?

https://techaudit.site/ru/ - проверен на сайтах у которых более 10 млн. страниц.

Павел Горбунов
На сайте с 13.06.2011
Offline
115
#9
Сергей Ждан:
https://techaudit.site/ru/ - проверен на сайтах у которых более 10 млн. страниц.

Интересно.

А какие цены?

СЖ
На сайте с 25.11.2009
Offline
85
#10
Павел Горбунов:
Интересно.
А какие цены?

Бесплатно.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий