Чем и как парсить огромные сайты? (2 млн стр. в поиске)

12
A
На сайте с 23.04.2019
Offline
13
858

Здравствуйте. Подскажите, пожалуйста, как проанализировать очень большой сайт. Использую программу Screaming Frog, но она не предназначена для такого большого объема страниц. Даже если убрать парсинг JS, CSS, Images - все равно не проходит. Еще можно отдельные категории вроде как парсить через настройки Include/Exclude - и вот этого я совершенно не понимаю, не соображаю как обозначить нужный раздел. Помогите, пожалуйста

Vladimir SEO
На сайте с 19.10.2011
Offline
1333
#1

Парсить и анализировать это разные действия

Парсер это контентдаунлоадер а анализатор например xenu

ᐈ Лучшая проверка позиций http://allpositions.ru/redirect/10965 ᐈПродвижение коммерческих сайтов https://kulinenko.com/
A
На сайте с 23.04.2019
Offline
13
#2
xVOVAx:
Парсить и анализировать это разные действия

Парсер это контентдаунлоадер а анализатор например xenu

ок, но мне кажется вопрос по своей сути понятен. Имеется сайт с 2 млн страниц в поиске (общее число страниц больше 8 млн). Как мне его проверить на те ошибки, которые я могу увидеть, благодаря программе Screaming Frog, когда использую ее для небольших сайтов?

Vladimir SEO
На сайте с 19.10.2011
Offline
1333
#3

Какие именно ошибки вы ищете?

A
На сайте с 23.04.2019
Offline
13
#4
xVOVAx:
Какие именно ошибки вы ищете?

проверка заголовков и мета-описаний, проверка xml карты сайта, наличие битых ссылок и страниц с редиректами

ЛЛ
На сайте с 12.11.2018
Offline
50
#5

Попробуйте зенапостер. Не знаю подходит ли она под вашу задачу, но настроект там куча и постоянная поддержка/обновы.

Vladimir SEO
На сайте с 19.10.2011
Offline
1333
#6
Anlel:
проверка заголовков и мета-описаний, проверка xml карты сайта, наличие битых ссылок и страниц с редиректами

Битые ссылки - хеNu

A
На сайте с 23.04.2019
Offline
13
#7
xVOVAx:
Битые ссылки - хеNu

Спасибо. Правильно ли понимаю, что большие сайты не прогоняют через Screaming Frog? (привязалась я к нему :) )

---------- Добавлено 10.05.2019 в 10:01 ----------

Лелуш Ламперуж:
Попробуйте зенапостер. Не знаю подходит ли она под вашу задачу, но настроект там куча и постоянная поддержка/обновы.

большое спасибо, посмотрю.

[Удален]
#8
Anlel:
Правильно ли понимаю, что большие сайты не прогоняют через Screaming Frog?

прогоняют, там настройки какие-то менять надо

вообще подобного объёма ресурсы парсят серверными скриптами

A
На сайте с 23.04.2019
Offline
13
#9
burunduk:
прогоняют, там настройки какие-то менять надо

вообще подобного объёма ресурсы парсят серверными скриптами

понятно, спасибо.

Platon Shukin
На сайте с 07.03.2007
Offline
232
#10
burunduk:
вообще подобного объёма ресурсы парсят серверными скриптами

Лех... не обязательно

контентдаунлоадер вполне справится...

⭐ Реально Самые Выгодные Пуши ( https://hclicks.com/reg ) ⭐ Альтернатива Адсенсу (https://bit.ly/EzoicCom) ⭐ Дорвейщики!!! Тут Палим Темы!!! (https://bit.ly/FBdor)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий