Gengar_SW, добрый день!
Я нашла Вашу переписку по поводу "Xenu - не сканирует сайт" вот на этой страничке: /ru/forum/954817.
Вы вроде нашли решение, да?
Но я не могу сообразить, что это и где искать этот "...User-Agent вашего Xenu".
Товарищ "Удивительно" Вам подсказал, но его ссылка "Вот так..." уже не работает.
Не могли бы Вы мне любезно пояснить как Вы решили эту проблему?
У меня тоже Xenu не сканирует один мой сайт. Один сканирует, а второй нет.
С уважением, Ольга Плутаева