Здравствуйте!) Необходимо поменять user agent в настройках сканирования ↓
После этого сайт нормально просканировался ↓
По умолчанию установлен NetpeakSpiderBot и сервер по каким-либо причинам не захотел отдавать ему данные.
Теперь вы можете использовать Netpeak Spider на Mac OS 10.11 и выше. Мы запустили бесплатный пробный период до 17.11.2017 включительно, чтобы вы смогли оценить новую версию программы и поделиться впечатлениями. В данной версии программы доступны все ключевые функции нашего краулера.
Mac-версия Netpeak Spider является отдельной программой, которая отличается от Windows-версии и будет пока что отдельно обновляться. Но мы стараемся привести их к единому виду.
Главные функциональные отличия от Windows-версии:
Читайте более подробно о новой версии программы в обзоре на нашем сайте :)
Можете, пожалуйста, учточнить по сравнению с какими инструментами вы бы хотели узнать отличия. Тогда я смогу максимально конкретно вам ответить :)
Пока что могу сказать, что вы можете пользоваться нашими уникальными функциями:
- расчётом внутреннего PageRank: https://goo.gl/MwtE8F
- пользовательским поиском и извлечением данных (например, по регуляркам): https://goo.gl/z3NA5d
- встроенным инструментом анализа исходного кода и HTTP-заголовков: https://goo.gl/WM143Y
К тому же, вы можете настраивать гибкие правила сканирования: не только по всему сайту, но и по списку URL и определённому разделу сайта.