Screaming Frog не парсит сайт

Видимо мутный какой-то 307 редирект ему мешает https://prnt.sc/26dkfm3

Игнорирование роботс.тхт не всегда достаточно.

Влияет еще количество потоков\запросов в промежуток времени и имя бота.

Многие блокируют сторонние парсеры. Надо попробовать выбрать какой-нибудь другой User-Agent (скажем, гуглобот смартфон) и попробовать.

ЗЫ Ну на скриншоте же видно: парсер определен как парсер, там слово intruder торчит. То есть в этот момент боту показывают матерную табличку с кукишем.

Всех User-Agent  попробовал, одни и те же результаты.

А можно как-то обойти это?

Да, я попробовал. Психи сайт админят.

Значит не всех.

Почитав комментарии подумал, что там и правда какая-то защита, лол) Очевидно было, что дело не в роботс и не в юзер агентах, попытался посмотреть, что за скрипты на сайте, биван показал вью жс. Подумал, что изи) включил в лягушке рендеринг javascript и потирал руки, но не тут то было. Еще раз 5-7 тестов с попытками сымитировать реального чела и получилось. Нужна лишь галочка Configuration->Spider->Advanced->Allow Cookies. Вот так просто по кукам можно было отсечь )
Скрин с галочкой и результатом парсинга прилагаю (во время последнего парсинга вырубил рендеринг, чтобы парсился быстрее, но походу из-за этого спарсились не все страницы)

Почему же психи? Как раз наоборот - защита от долбодятлов.

Чаще всего эти "защитнички" просто усложняют жизнь своим клиентам и своим же маркетологам. Некоторые умудряются заблочить и поисковых роботов.
А тут защита строилась вообще на куках. Это настолько глупо, что я даже не догадался поставить галочку во "фроге". 

Это помогает при режиме работы "Spider", но если переключиться на List, не работает. (Кстати, для тех у кого версия Скриминга страше 13, и не можете найти Allow Cookies, он находится в Configuration-spider-advanced, там cookie storage надо переключить на persistent.) Кто-нибудь может подсказать, как в режиме list можно краулить подобные сайты?