Как просканировать сайт рф лягушкой и Xenu ? Ошибка 500, хостинг и user-agen ни при чем

J
На сайте с 15.11.2011
Offline
116
1254

Доброго времени https://xn--80aaaasgwnds6bh1b.xn--p1ai

Вот такой сайт, хочу всего лишь проверить наличие битых ссылок и т. п. лягухой,

а она не работает.

Вообще домены рф не хочет парсить, какие не предлагал. Версия 19.0

Xenu тоже не хочет Есть ли решение кроме как не использовать домены рф?

User-agent пробовал менять, разрешил переходить по внутренним nofollow, роботс не закрывает ничего лишнего

J
На сайте с 15.11.2011
Offline
116
#1
justuser :

Доброго времени https://xn--80aaaasgwnds6bh1b.xn--p1ai

Вот такой сайт, хочу всего лишь проверить наличие битых ссылок и т. п. лягухой,

а она не работает.

Вообще домены рф не хочет парсить, какие не предлагал. Версия 19.0

Xenu тоже не хочет Есть ли решение кроме как не использовать домены рф?

User-agent пробовал менять, разрешил переходить по внутренним nofollow, роботс не закрывает ничего лишнего

Нашел ответ, может, кому пригодится, js на главной какой-то хитрый с выводом содержимого 404 в случае ошибки ну и мета noindex соответственно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий