Чем и как парсить огромные сайты? (2 млн стр. в поиске)

12
A
На сайте с 23.04.2019
Offline
13
824

Здравствуйте. Подскажите, пожалуйста, как проанализировать очень большой сайт. Использую программу Screaming Frog, но она не предназначена для такого большого объема страниц. Даже если убрать парсинг JS, CSS, Images - все равно не проходит. Еще можно отдельные категории вроде как парсить через настройки Include/Exclude - и вот этого я совершенно не понимаю, не соображаю как обозначить нужный раздел. Помогите, пожалуйста

Vladimir SEO
На сайте с 19.10.2011
Offline
1017
#1

Парсить и анализировать это разные действия

Парсер это контентдаунлоадер а анализатор например xenu

Продвижение коммерческих сайтов https://kulinenko.com Проверка позиций http://allpositions.ru/redirect/10965 Лучший хостинг http://www.ukraine.com.ua/?page=59418
A
На сайте с 23.04.2019
Offline
13
#2
xVOVAx:
Парсить и анализировать это разные действия

Парсер это контентдаунлоадер а анализатор например xenu

ок, но мне кажется вопрос по своей сути понятен. Имеется сайт с 2 млн страниц в поиске (общее число страниц больше 8 млн). Как мне его проверить на те ошибки, которые я могу увидеть, благодаря программе Screaming Frog, когда использую ее для небольших сайтов?

Vladimir SEO
На сайте с 19.10.2011
Offline
1017
#3

Какие именно ошибки вы ищете?

A
На сайте с 23.04.2019
Offline
13
#4
xVOVAx:
Какие именно ошибки вы ищете?

проверка заголовков и мета-описаний, проверка xml карты сайта, наличие битых ссылок и страниц с редиректами

ЛЛ
На сайте с 12.11.2018
Offline
37
#5

Попробуйте зенапостер. Не знаю подходит ли она под вашу задачу, но настроект там куча и постоянная поддержка/обновы.

Vladimir SEO
На сайте с 19.10.2011
Offline
1017
#6
Anlel:
проверка заголовков и мета-описаний, проверка xml карты сайта, наличие битых ссылок и страниц с редиректами

Битые ссылки - хеNu

A
На сайте с 23.04.2019
Offline
13
#7
xVOVAx:
Битые ссылки - хеNu

Спасибо. Правильно ли понимаю, что большие сайты не прогоняют через Screaming Frog? (привязалась я к нему :) )

---------- Добавлено 10.05.2019 в 10:01 ----------

Лелуш Ламперуж:
Попробуйте зенапостер. Не знаю подходит ли она под вашу задачу, но настроект там куча и постоянная поддержка/обновы.

большое спасибо, посмотрю.

[Удален]
#8
Anlel:
Правильно ли понимаю, что большие сайты не прогоняют через Screaming Frog?

прогоняют, там настройки какие-то менять надо

вообще подобного объёма ресурсы парсят серверными скриптами

A
На сайте с 23.04.2019
Offline
13
#9
burunduk:
прогоняют, там настройки какие-то менять надо

вообще подобного объёма ресурсы парсят серверными скриптами

понятно, спасибо.

Думка
На сайте с 07.03.2007
Offline
226
#10
burunduk:
вообще подобного объёма ресурсы парсят серверными скриптами

Лех... не обязательно

контентдаунлоадер вполне справится...

⭐ Самые Выгодные Пуши (https://u.to/s1fOFQ) ⭐ Есть 30к трафа дейли? Получай больше Адсенса и РСЯ! (в личку) ⭐ Рекомендую!!! VPS/VDS/Хостинг (EU и US) (https://tkqlhce.com/click-100136718-13484397 ) ⭐ Бесплатные Ссылки - научу как получать! (https://u.to/9fcRFw )
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий