Вопрос о программе Screaming Frog SEO Spider

Разрешите поинтересоваться. А что вы там хотите настроить?

Какие файлы и страницы обходить краулеру или выгрузку данных(отчеты). Там не так и много настроек.

Честно признаться, я просто не врубаюсь почему столько страниц (или ссылок я не знаю что это такое) у сайта http://dimax.spb.ru/ (аж 58 тыс). Хотя в вебмастере загружено всего 19 тыс. В самом окне программы я могу посмотреть только 6 тыс ссылок). В общем мне бы разобраться как настроить сам проект (если можно это так назвать). Спасибо за проявленную заинтересованность.

Глеб93, У вас вас лицензионная версия программы?

Конфигурация - Спайдер - Лимитс тут настраивается предел страниц.

ну я ее генератором ключей хакнул :D

Посмотрите, если у вас данный пункт настроек нельзя изменять, по умолчанию 500 страниц. Значит, хакнуть не получилось.

Да не работает все. Спасибо пиратам :D

Кстати что такое в настройках Check Links Outside the start folder?

Это в Сonfiguration -> Spider -> Basic

---------- Добавлено 01.10.2017 в 20:10 ----------

У меня еще такой немного глупый вопрос. Лучше как парсить все по-максимому или только самое основное? В смысле как вообще понять что учитывает поиск? (да я в этом не специалист, но хочу разобраться).

Не тестировал, что будет если убрать эту галочку.

Как пишет официальный сайт, переходить по ссылкам дальше изначальной папки или нет, другие папки - это поддомены, например.

Я убирал, так и не понял что это такое. Просто хочется понят что дальше с этим делать. Даже если спарсил, ну например 10 000 страниц. :)

---------- Добавлено 01.10.2017 в 20:25 ----------

Кстати, есть еще такой показать как Avarage и Сurrent. Я так понял что Аvarage это что то вроде текущего кол-во запросов в сек. а Current - это допустимый. Так?)

Первое средний и второе текущий.