Screaming Frog не парсит сайт

V
На сайте с 14.01.2022
Offline
0
880
Пытаюсь спарсить следующий сайт - https://www.privodsnab.ru/ (с остальными сайтами все работает) с помощью Screaming Frog и сканируется только главная страница. В настройках robots игнорирую ,  Follow Internal "nofollow" и Follow External "nofollow" также включено. С чем это может быть связано, подскажите, пожалуйста?


png 5kd_jtljy.png
YmersY
На сайте с 29.01.2007
Offline
234
#1
Видимо мутный какой-то 307 редирект ему мешает https://prnt.sc/26dkfm3
Ссылки под Google со СМИ - дешевле, чем в биржах - Пиши в личку, не стесняйся!
BrickLayer
На сайте с 13.06.2020
Offline
68
#2

Игнорирование роботс.тхт не всегда достаточно.

Влияет еще количество потоков\запросов в промежуток времени и имя бота.

Виктор Петров
На сайте с 05.01.2020
Offline
240
#3
veselovnd :
Пытаюсь спарсить следующий сайт - https://www.privodsnab.ru/ (с остальными сайтами все работает) с помощью Screaming Frog и сканируется только главная страница. В настройках robots игнорирую ,  Follow Internal "nofollow" и Follow External "nofollow" также включено. С чем это может быть связано, подскажите, пожалуйста?


Многие блокируют сторонние парсеры. Надо попробовать выбрать какой-нибудь другой User-Agent (скажем, гуглобот смартфон) и попробовать.

ЗЫ Ну на скриншоте же видно: парсер определен как парсер, там слово intruder торчит. То есть в этот момент боту показывают матерную табличку с кукишем.

Не это вот всё ( https://searchengines.guru/ru/forum/1071134 )
V
На сайте с 14.01.2022
Offline
0
#4
Виктор Петров #:

Многие блокируют сторонние парсеры. Надо попробовать выбрать какой-нибудь другой User-Agent (скажем, гуглобот смартфон) и попробовать.

Всех User-Agent  попробовал, одни и те же результаты.

Виктор Петров #:
ЗЫ Ну на скриншоте же видно: парсер определен как парсер, там слово intruder торчит. То есть в этот момент боту показывают матерную табличку с кукишем.

А можно как-то обойти это?

Виктор Петров
На сайте с 05.01.2020
Offline
240
#5
veselovnd #:
Всех User-Agent  попробовал, одни и те же результаты.

Да, я попробовал. Психи сайт админят.


BrickLayer
На сайте с 13.06.2020
Offline
68
#6
veselovnd #:

Всех User-Agent  попробовал, одни и те же результаты.

Значит не всех.

P
На сайте с 14.01.2022
Offline
0
#7

Почитав комментарии подумал, что там и правда какая-то защита, лол) Очевидно было, что дело не в роботс и не в юзер агентах, попытался посмотреть, что за скрипты на сайте, биван показал вью жс. Подумал, что изи) включил в лягушке рендеринг javascript и потирал руки, но не тут то было. Еще раз 5-7 тестов с попытками сымитировать реального чела и получилось. Нужна лишь галочка Configuration->Spider->Advanced->Allow Cookies. Вот так просто по кукам можно было отсечь )
Скрин с галочкой и результатом парсинга прилагаю (во время последнего парсинга вырубил рендеринг, чтобы парсился быстрее, но походу из-за этого спарсились не все страницы)


fliger
На сайте с 17.09.2015
Offline
94
#8
Виктор Петров #:

Психи сайт админят.


Почему же психи? Как раз наоборот - защита от долбодятлов.
Виктор Петров
На сайте с 05.01.2020
Offline
240
#9
fliger #:
Почему же психи? Как раз наоборот - защита от долбодятлов.

Чаще всего эти "защитнички" просто усложняют жизнь своим клиентам и своим же маркетологам. Некоторые умудряются заблочить и поисковых роботов.
А тут защита строилась вообще на куках. Это настолько глупо, что я даже не догадался поставить галочку во "фроге". 

P1
На сайте с 25.01.2022
Offline
0
#10
Это помогает при режиме работы "Spider", но если переключиться на List, не работает. (Кстати, для тех у кого версия Скриминга страше 13, и не можете найти Allow Cookies, он находится в Configuration-spider-advanced, там cookie storage надо переключить на persistent.) Кто-нибудь может подсказать, как в режиме list можно краулить подобные сайты?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий