Как в ScreamingFrog запретить краулить поддомены?

Р
На сайте с 07.02.2013
Offline
168
2758

Приветствую.

Кто-то из вас наверняка пользуется ScreamingFrog. Есть сайт с несколькими поддоменами. При краулинге ScreamingFrog находит поддомены и идет по ним. Перекопал все настройки, но так и не нашел нужную, которая запрещала бы переход на поддомены. Возможно такой настройки просто нет. Знаете варианты запрета краулинга поддоменов?

K1
На сайте с 05.09.2010
Offline
102
#1

в настройках отключи 


---VPS хостинг за 198р. https://clck.ru/LwF8P эффективная защита от DDOS-атак---
Р
На сайте с 07.02.2013
Offline
168
#2
konsu1tant #:

в настройках отключи 


Отключено, не спасает, все равно краулит по субдоменам, но решил вопрос, написав регулярку для исключения поддоменов. Только так и заработало.

Combatx007
На сайте с 29.01.2008
Offline
163
#3
рецидивист :

Приветствую.

Кто-то из вас наверняка пользуется ScreamingFrog. Есть сайт с несколькими поддоменами. При краулинге ScreamingFrog находит поддомены и идет по ним. Перекопал все настройки, но так и не нашел нужную, которая запрещала бы переход на поддомены. Возможно такой настройки просто нет. Знаете варианты запрета краулинга поддоменов?

в include добавить домен или поддомен и будет парсинг только его

Купить ссылки для продвижения сайта https://prshark.ru/
Игнор
На сайте с 24.10.2015
Offline
67
#4
рецидивист :

Приветствую.

Кто-то из вас наверняка пользуется ScreamingFrog. Есть сайт с несколькими поддоменами. При краулинге ScreamingFrog находит поддомены и идет по ним. Перекопал все настройки, но так и не нашел нужную, которая запрещала бы переход на поддомены. Возможно такой настройки просто нет. Знаете варианты запрета краулинга поддоменов?

Configuration => Include и через рег.выражение:


Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий