Удивительно: Ну, в общем, как-то так: http://konspect.blogspot.ru/2014/10/xenu-link-sleuth-forbidden-request.html Судя по всему, проблема в настройках вашего ngnix или что там у вас - ему не нравится User-Agent вашего Xenu. Вот так, видимо, настроено всё. Если есть доступ к конфигам сервера - можете удалить эту настройку и Xenu заработает.
cblcg: мне кажется она использует какойто клиент отличный от браузеров. Например у меня на сайте есть страницы где генерятся для браузером метатеги и вот когда сканит Xenu то для нее не генерятся они. Предполагаю с ее клиентом связано это
Спасибо за ответ.
Надеюсь, что так. А то сайт за последние пару месяцев просел в выдаче очень. Не понимаю в чем проблема. Думал может что с сайтом или с хостингом.
Удивительно: Может быть потому, что в robots.txt закрыто сканирование index.php для всех роботов? Отключите обработку robots.txt в настройках Xenu и попробуйте еще раз.
В настройках бегло глянул отключение роботс, ничего особо не нашел.
Убрал файл роботс, проблема при сканировании осталась.
Ну, в общем, как-то так: http://konspect.blogspot.ru/2014/10/xenu-link-sleuth-forbidden-request.html
Судя по всему, проблема в настройках вашего ngnix или что там у вас - ему не нравится User-Agent вашего Xenu. Вот так, видимо, настроено всё. Если есть доступ к конфигам сервера - можете удалить эту настройку и Xenu заработает.
Да, действительно.
Все заработало.
Спасибо!
проверьте User-Agent с которым Xenu коннектится к сайту. Попробуйте подставить такой же User-Agent в браузере.
http://joxi.ru/V2V5oYEUPaLYmv
http://joxi.ru/xAeYW56SGZaeAy
В настройках нет данных для выявления User-agent'a. (
Какими-то альтернативными способами можно определить юзер-агента?
Смотреть логи сервера по IP?
мне кажется она использует какойто клиент отличный от браузеров. Например у меня на сайте есть страницы где генерятся для браузером метатеги и вот когда сканит Xenu то для нее не генерятся они. Предполагаю с ее клиентом связано это
Спасибо за ответ.
Надеюсь, что так. А то сайт за последние пару месяцев просел в выдаче очень. Не понимаю в чем проблема. Думал может что с сайтом или с хостингом.
Может быть потому, что в robots.txt закрыто сканирование index.php для всех роботов? Отключите обработку robots.txt в настройках Xenu и попробуйте еще раз.
В настройках бегло глянул отключение роботс, ничего особо не нашел.
Убрал файл роботс, проблема при сканировании осталась.