Форум Практика оптимизации Сервисы и программы для работы с SE

Screaming Frog не работает с сайтом

jkuz
На сайте с 16.08.2012
Offline
58
jkuz
3486

программа Screaming Frog SEO Spider Tool - почему-то не парсит один сайт. Почему-то с другими сайтами все в порядке. Сайт - http://eco-dez.ru/

Честно, прозрачно, доступно! Продвижение сайтов http://dvigat-sait.ru/ ( http://dvigat-sait.ru/ )
TeXiCo
На сайте с 27.03.2009
Offline
102
TeXiCo
#1

Неудивительно, в robots.txt

User-agent: *

Disallow: /

Сайт запрещен к индексации, Screaming Frog следует правилам :)

Хостинг, VDS\VPS, Выделенные серверы (http://timeweb.com/ru/?i=3000)
sil_rain
На сайте с 29.11.2012
Offline
73
sil_rain
#2
TeXiCo:
Неудивительно, в robots.txt

User-agent: *
Disallow: /

Сайт запрещен к индексации, Screaming Frog следует правилам :)

и да, в настройках можно поставить галку "Ignore robots.txt"

jkuz
На сайте с 16.08.2012
Offline
58
jkuz
#3
TeXiCo:
Неудивительно, в robots.txt

User-agent: *
Disallow: /

Сайт запрещен к индексации, Screaming Frog следует правилам :)

Спасибо за помощь! Да, напутали, был сайт-зеркало, в котором я поставил запрет индексации, но не увидел, что это на основном сайте файл был!

---------- Добавлено 03.03.2015 в 15:10 ----------

sil_rain:
и да, в настройках можно поставить галку "Ignore robots.txt"

Спасибо, сделаю!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий