Screaming Frog не парсит сайт

V
На сайте с 14.01.2022
Offline
0
300
Пытаюсь спарсить следующий сайт - https://www.privodsnab.ru/ (с остальными сайтами все работает) с помощью Screaming Frog и сканируется только главная страница. В настройках robots игнорирую ,  Follow Internal "nofollow" и Follow External "nofollow" также включено. С чем это может быть связано, подскажите, пожалуйста?


png 5kd_jtljy.png
YmersY
На сайте с 29.01.2007
Offline
198
#1
Видимо мутный какой-то 307 редирект ему мешает https://prnt.sc/26dkfm3
Тут я беру ссылки помесячно (http://www.sape.ru/r.b6609d3fed.php), а тут навсегда (http://gogetlinks.net/?inv=6ux3qz). Помогаю рефералам с продвижением!
BrickLayer
На сайте с 13.06.2020
Offline
42
#2

Игнорирование роботс.тхт не всегда достаточно.

Влияет еще количество потоков\запросов в промежуток времени и имя бота.

Виктор Петров
На сайте с 05.01.2020
Offline
186
#3
veselovnd :
Пытаюсь спарсить следующий сайт - https://www.privodsnab.ru/ (с остальными сайтами все работает) с помощью Screaming Frog и сканируется только главная страница. В настройках robots игнорирую ,  Follow Internal "nofollow" и Follow External "nofollow" также включено. С чем это может быть связано, подскажите, пожалуйста?


Многие блокируют сторонние парсеры. Надо попробовать выбрать какой-нибудь другой User-Agent (скажем, гуглобот смартфон) и попробовать.

ЗЫ Ну на скриншоте же видно: парсер определен как парсер, там слово intruder торчит. То есть в этот момент боту показывают матерную табличку с кукишем.

SEO-аудиты и консультации (https://textarget.ru)
V
На сайте с 14.01.2022
Offline
0
#4
Виктор Петров #:

Многие блокируют сторонние парсеры. Надо попробовать выбрать какой-нибудь другой User-Agent (скажем, гуглобот смартфон) и попробовать.

Всех User-Agent  попробовал, одни и те же результаты.

Виктор Петров #:
ЗЫ Ну на скриншоте же видно: парсер определен как парсер, там слово intruder торчит. То есть в этот момент боту показывают матерную табличку с кукишем.

А можно как-то обойти это?

Виктор Петров
На сайте с 05.01.2020
Offline
186
#5
veselovnd #:
Всех User-Agent  попробовал, одни и те же результаты.

Да, я попробовал. Психи сайт админят.


BrickLayer
На сайте с 13.06.2020
Offline
42
#6
veselovnd #:

Всех User-Agent  попробовал, одни и те же результаты.

Значит не всех.

P
На сайте с 14.01.2022
Offline
0
#7

Почитав комментарии подумал, что там и правда какая-то защита, лол) Очевидно было, что дело не в роботс и не в юзер агентах, попытался посмотреть, что за скрипты на сайте, биван показал вью жс. Подумал, что изи) включил в лягушке рендеринг javascript и потирал руки, но не тут то было. Еще раз 5-7 тестов с попытками сымитировать реального чела и получилось. Нужна лишь галочка Configuration->Spider->Advanced->Allow Cookies. Вот так просто по кукам можно было отсечь )
Скрин с галочкой и результатом парсинга прилагаю (во время последнего парсинга вырубил рендеринг, чтобы парсился быстрее, но походу из-за этого спарсились не все страницы)


fliger
На сайте с 17.09.2015
Offline
84
#8
Виктор Петров #:

Психи сайт админят.


Почему же психи? Как раз наоборот - защита от долбодятлов.
Виктор Петров
На сайте с 05.01.2020
Offline
186
#9
fliger #:
Почему же психи? Как раз наоборот - защита от долбодятлов.

Чаще всего эти "защитнички" просто усложняют жизнь своим клиентам и своим же маркетологам. Некоторые умудряются заблочить и поисковых роботов.
А тут защита строилась вообще на куках. Это настолько глупо, что я даже не догадался поставить галочку во "фроге". 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий