Screaming Frog не парсит сайт

VillainTheCake
На сайте с 31.08.2016
Offline
15
8349

Всем привет!

Загоняю сайт airopen.ru в парсер Screaming Frog, а тот сканирует только главную страницу (без www и с www). В robots.txt сайт не закрыт от индексации. Подскажите пожалуйста, в чем может быть проблема?

P.S. если загнать другой сайт, то парсер просканирует все страницы.

G
На сайте с 16.11.2013
Offline
55
#1

У вас в мета-тегах на главной стоит NOINDEX,NOFOLLOW и, скорее всего, включено в настройках лягухи не сканировать такие страницы.

VillainTheCake
На сайте с 31.08.2016
Offline
15
#2

Gareg, спасибо! В настройках нужно было поставить чекбоксы напротив двух пунктов: Follow Internal "nofollow" и Follow External "nofollow". Скриншот: http://screencast.com/t/CpRQiBQ2N

NeMaster
На сайте с 17.10.2001
Offline
255
#3

Было такое что хостер заблокировал их пауков, пришлось в саппорт писать.

Профессиональное продвижение (/ru/forum/976946) сайтов. Узнать подробнее (http://pro-prodvizenie.ru/) на моём сайте.
VillainTheCake
На сайте с 31.08.2016
Offline
15
#4

NeMaster, такое тоже может быть, но в моем случае просто нужно было выставить определенные настройки в самой программе

SamCram
На сайте с 16.08.2006
Offline
143
#5
Было такое что хостер заблокировал их пауков, пришлось в саппорт писать.

А можно было просто заголовки сменить у паука:

А вообще бежать от такого "хостера" нужно :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий