Проблема с поиском битых ссылок

Z3
На сайте с 08.09.2015
Offline
4
533

Всем доброго времени суток!

Выявляю битые ссылки с помощью программы Xenu

На сайте - куча динамических ссылок с параметрами в урле, например site.ru/index.php?Fonts=Big&Style=Blue . И так на каждой странице с 10-ю и более вариантами параметров

После запуска программы, через полтора часа работы нашлось больше 500 тыс. страниц, а программа всё еще не остановила процесс...

Как найти битые ссылки, исключив из поиск динамические ссылки?

В robots.txt индексацию динамических запретил только сейчас. Как именно работает программа? После того, как динамические ссылки выпадут из индекса, выпадут ли они из поиска в программе?

Заранее благодарю за помощь!

Zegeberg
На сайте с 30.09.2010
Offline
282
#1
Z123:
Всем доброго времени суток!
Выявляю битые ссылки с помощью программы Xenu
На сайте - куча динамических ссылок с параметрами в урле, например site.ru/index.php?Fonts=Big&Style=Blue . И так на каждой странице с 10-ю и более вариантами параметров

После запуска программы, через полтора часа работы нашлось больше 500 тыс. страниц, а программа всё еще не остановила процесс...

Как найти битые ссылки, исключив из поиск динамические ссылки?

В robots.txt индексацию динамических запретил только сейчас. Как именно работает программа? После того, как динамические ссылки выпадут из индекса, выпадут ли они из поиска в программе?

Заранее благодарю за помощь!

Пользуйтесь этим сервисом.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Антибот ( https://antibot.cloud/?ref=15262 )
Z3
На сайте с 08.09.2015
Offline
4
#2
Zegeberg:
Пользуйтесь этим сервисом.

Zegeberg, спасибо за ответ!

В это сервисе проверяется максимум 3 000 страниц, а у меня на сайте более 7 000 насчитали. За две проверки они запросили у меня 50$, что за проверку битых ссылок довольно не мало... Или Вы считаете, что это нормальная стоимость?

Возможно, есть еще какие-либо сервисы?

детектор_лжи
На сайте с 25.11.2008
Offline
87
#3

а broken link checker пробовали?

CTRLISTING
На сайте с 24.09.2015
Offline
58
#4
детектор_лжи:
а broken link checker пробовали?

У них свыше 3000 страниц аналогично на платной основе, и тоже не из дешёвых.

Качественный и комплексный, но очень дешёвый SEO-аудит сайтов. (/ru/forum/911703) CTR-SEO.RU (http://ctr-seo.ru/) | Полный спектр услуг поисковой оптимизации.
детектор_лжи
На сайте с 25.11.2008
Offline
87
#5

CTRLISTING, спасибо, что сказали, а то я не знал

Как раз только собирался проект с 5 тыс. страниц обработать....

S.E.R.
На сайте с 17.08.2008
Offline
139
#6

Попробуйте NetPeak Spider. Только в настройках предварительно выставите - Не сканировать disallow (чтобы исключить мусорные страницы, которые у вас закрыты в robots).

ORIDIS ( http://www.oridis.ru/ ) - разработка и продвижение сайтов | Быстрый и надёжный хостинг ( https://timeweb.com/ru/?i=53597 )
donc
На сайте с 16.01.2007
Offline
664
#7
S.E.R.:
NetPeak Spider.

И убрать анализ ссылок внутри сайта. Иначе при генерации отчета - тоже зависнет, если страниц много.

Потому что конечно, xlsх не поддерживает более 65 тыс строк, но NetPeak Spider пытается туда их запихать и ...

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий