Xenu - не сканирует сайт

Может быть потому, что в robots.txt закрыто сканирование index.php для всех роботов? Отключите обработку robots.txt в настройках Xenu и попробуйте еще раз.

В настройках бегло глянул отключение роботс, ничего особо не нашел.

Убрал файл роботс, проблема при сканировании осталась.

мне кажется она использует какойто клиент отличный от браузеров. Например у меня на сайте есть страницы где генерятся для браузером метатеги и вот когда сканит Xenu то для нее не генерятся они. Предполагаю с ее клиентом связано это

Спасибо за ответ.

Надеюсь, что так. А то сайт за последние пару месяцев просел в выдаче очень. Не понимаю в чем проблема. Думал может что с сайтом или с хостингом.

проверьте User-Agent с которым Xenu коннектится к сайту. Попробуйте подставить такой же User-Agent в браузере.

http://joxi.ru/V2V5oYEUPaLYmv

http://joxi.ru/xAeYW56SGZaeAy

В настройках нет данных для выявления User-agent'a. (

Какими-то альтернативными способами можно определить юзер-агента?

Смотреть логи сервера по IP?

Ну, в общем, как-то так: http://konspect.blogspot.ru/2014/10/xenu-link-sleuth-forbidden-request.html

Судя по всему, проблема в настройках вашего ngnix или что там у вас - ему не нравится User-Agent вашего Xenu. Вот так, видимо, настроено всё. Если есть доступ к конфигам сервера - можете удалить эту настройку и Xenu заработает.

Да, действительно.

Все заработало.

Спасибо!

я как столкнулся с этим сразу решил купить прогу 1, которая заменит xenu и позволяет выбирать юзерагенты

Gengar_SW, добрый день!

Я нашла Вашу переписку по поводу "Xenu - не сканирует сайт" вот на этой страничке: /ru/forum/954817.

Вы вроде нашли решение, да?

Но я не могу сообразить, что это и где искать этот "...User-Agent вашего Xenu".

Товарищ "Удивительно" Вам подсказал, но его ссылка "Вот так..." уже не работает.

Не могли бы Вы мне любезно пояснить как Вы решили эту проблему?

У меня тоже Xenu не сканирует один мой сайт. Один сканирует, а второй нет.

С уважением, Ольга Плутаева