Почитав комментарии подумал, что там и правда какая-то защита, лол) Очевидно было, что дело не в роботс и не в юзер агентах, попытался посмотреть, что за скрипты на сайте, биван показал вью жс. Подумал, что изи) включил в лягушке рендеринг javascript и потирал руки, но не тут то было. Еще раз 5-7 тестов с попытками сымитировать реального чела и получилось. Нужна лишь галочка Configuration->Spider->Advanced->Allow Cookies. Вот так просто по кукам можно было отсечь )Скрин с галочкой и результатом парсинга прилагаю (во время последнего парсинга вырубил рендеринг, чтобы парсился быстрее, но походу из-за этого спарсились не все страницы)
