Gengar_SW

Рейтинг
15
Регистрация
05.01.2015
Xenu - не сканирует сайт
Удивительно:
Ну, в общем, как-то так: http://konspect.blogspot.ru/2014/10/xenu-link-sleuth-forbidden-request.html
Судя по всему, проблема в настройках вашего ngnix или что там у вас - ему не нравится User-Agent вашего Xenu. Вот так, видимо, настроено всё. Если есть доступ к конфигам сервера - можете удалить эту настройку и Xenu заработает.

Да, действительно.

Все заработало.

Спасибо!

Xenu - не сканирует сайт
TOBBOT:
проверьте User-Agent с которым Xenu коннектится к сайту. Попробуйте подставить такой же User-Agent в браузере.

http://joxi.ru/V2V5oYEUPaLYmv

http://joxi.ru/xAeYW56SGZaeAy

В настройках нет данных для выявления User-agent'a. (

Какими-то альтернативными способами можно определить юзер-агента?

Смотреть логи сервера по IP?

Xenu - не сканирует сайт
cblcg:
мне кажется она использует какойто клиент отличный от браузеров. Например у меня на сайте есть страницы где генерятся для браузером метатеги и вот когда сканит Xenu то для нее не генерятся они. Предполагаю с ее клиентом связано это

Спасибо за ответ.

Надеюсь, что так. А то сайт за последние пару месяцев просел в выдаче очень. Не понимаю в чем проблема. Думал может что с сайтом или с хостингом.

Xenu - не сканирует сайт
Удивительно:
Может быть потому, что в robots.txt закрыто сканирование index.php для всех роботов? Отключите обработку robots.txt в настройках Xenu и попробуйте еще раз.

В настройках бегло глянул отключение роботс, ничего особо не нашел.

Убрал файл роботс, проблема при сканировании осталась.