Чем и как парсить огромные сайты? (2 млн стр. в поиске)

12
A
На сайте с 23.04.2019
Offline
13
933

Здравствуйте. Подскажите, пожалуйста, как проанализировать очень большой сайт. Использую программу Screaming Frog, но она не предназначена для такого большого объема страниц. Даже если убрать парсинг JS, CSS, Images - все равно не проходит. Еще можно отдельные категории вроде как парсить через настройки Include/Exclude - и вот этого я совершенно не понимаю, не соображаю как обозначить нужный раздел. Помогите, пожалуйста

Vladimir SEO
На сайте с 19.10.2011
Offline
1740
#1

Парсить и анализировать это разные действия

Парсер это контентдаунлоадер а анализатор например xenu

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
A
На сайте с 23.04.2019
Offline
13
#2
xVOVAx:
Парсить и анализировать это разные действия

Парсер это контентдаунлоадер а анализатор например xenu

ок, но мне кажется вопрос по своей сути понятен. Имеется сайт с 2 млн страниц в поиске (общее число страниц больше 8 млн). Как мне его проверить на те ошибки, которые я могу увидеть, благодаря программе Screaming Frog, когда использую ее для небольших сайтов?

Vladimir SEO
На сайте с 19.10.2011
Offline
1740
#3

Какие именно ошибки вы ищете?

A
На сайте с 23.04.2019
Offline
13
#4
xVOVAx:
Какие именно ошибки вы ищете?

проверка заголовков и мета-описаний, проверка xml карты сайта, наличие битых ссылок и страниц с редиректами

ЛЛ
На сайте с 12.11.2018
Offline
68
#5

Попробуйте зенапостер. Не знаю подходит ли она под вашу задачу, но настроект там куча и постоянная поддержка/обновы.

Vladimir SEO
На сайте с 19.10.2011
Offline
1740
#6
Anlel:
проверка заголовков и мета-описаний, проверка xml карты сайта, наличие битых ссылок и страниц с редиректами

Битые ссылки - хеNu

A
На сайте с 23.04.2019
Offline
13
#7
xVOVAx:
Битые ссылки - хеNu

Спасибо. Правильно ли понимаю, что большие сайты не прогоняют через Screaming Frog? (привязалась я к нему :) )

---------- Добавлено 10.05.2019 в 10:01 ----------

Лелуш Ламперуж:
Попробуйте зенапостер. Не знаю подходит ли она под вашу задачу, но настроект там куча и постоянная поддержка/обновы.

большое спасибо, посмотрю.

[Удален]
#8
Anlel:
Правильно ли понимаю, что большие сайты не прогоняют через Screaming Frog?

прогоняют, там настройки какие-то менять надо

вообще подобного объёма ресурсы парсят серверными скриптами

A
На сайте с 23.04.2019
Offline
13
#9
burunduk:
прогоняют, там настройки какие-то менять надо

вообще подобного объёма ресурсы парсят серверными скриптами

понятно, спасибо.

IT_DED
На сайте с 07.03.2007
Offline
236
#10
burunduk:
вообще подобного объёма ресурсы парсят серверными скриптами

Лех... не обязательно

контентдаунлоадер вполне справится...

⭐ Рекомендации Дорвейщикам тут - https://in.gl/itded
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий