Нужен скрипт или сервис для проверки битых ссылок на сайте

12
Андрей Бондаренко
На сайте с 02.11.2005
Offline
185
1599

Суть проблемы. Есть сайт, примерно 300 тысяч страниц. Разделен на поддомены. Нужен скрипт или онлайн сервис который все это чудо пересканирует (обязательно с учетом всех поддоменов) и выдаст отчет о наличии проблем с указанием конкретных адресов.

Может кто сталкивался? Очень желательно чтобы это было не десктопное приложение. Идеальный вариант серверный скрипт или онлайн сервис.

Новая фарм партнерка (http://www.magfee.ru/users/registration/user-invite86eae2b2e254e296813647c65e38ddc8). Большие проценты. Помощь рефералам! Высшее и дополнительное образование (http://academica.ru) на ACADEMICA.RU
Chkan
На сайте с 22.10.2008
Offline
104
#1

Скрипт не сложный, можно за несколько часов накатать. Вот только есть пару вопросов:

  • Списко урлов уже есть? или его надо собрать так сказать "по дороге", рекурсивно обходя ссылки начиная с главной?
  • Что конкретно подразумевается под битыми ссылками? те которые возврщают 404 статус? 500? или например сайт вообще не отвечает?

P.S. Можно урл сайта в личку.

🤠 Разработка/сопровождение проектов на Python/Django (https://django.ws)
DR
На сайте с 10.04.2006
Offline
107
#2

Вот такой программой пользуюсь http://home.snafu.de/tilman/xenulink.html

Rober Artua:
Суть проблемы. Есть сайт, примерно 300 тысяч страниц. Разделен на поддомены. Нужен скрипт или онлайн сервис который все это чудо пересканирует (обязательно с учетом всех поддоменов) и выдаст отчет о наличии проблем с указанием конкретных адресов.

Может кто сталкивался? Очень желательно чтобы это было не десктопное приложение. Идеальный вариант серверный скрипт или онлайн сервис.
Андрей Бондаренко
На сайте с 02.11.2005
Offline
185
#3
D-r-o-n:
Вот такой программой пользуюсь http://home.snafu.de/tilman/xenulink.html

У меня есть pageweight но 300 тысяч страниц он будет смотреть вечность.

---------- Добавлено 24.03.2016 в 20:43 ----------

Chkan:
Скрипт не сложный, можно за несколько часов накатать. Вот только есть пару вопросов:

  • Списко урлов уже есть? или его надо собрать так сказать "по дороге", рекурсивно обходя ссылки начиная с главной?
  • Что конкретно подразумевается под битыми ссылками? те которые возврщают 404 статус? 500? или например сайт вообще не отвечает?


P.S. Можно урл сайта в личку.

Добрый!

Полного списка адресов нет. Можем только список поддоменов сделать.

Нужно чтобы скрипт просканировал сайт и нашел все страницы которые возвращают код отличный от 200

Ragnarok
На сайте с 25.06.2010
Offline
226
#4

netpeak spider посмотрите, бесплатно

//TODO: перестать откладывать на потом
Samba1982
На сайте с 29.04.2013
Offline
88
#5

Мне это напоминает поиск дропов на старых досках объявлений, а иначе не объяснить, так как xenulink запустил и забыл часа на 3-4 - и вот вам счастье, но когда сканировать такие обьемы нужно постоянно, тогда это наталкивает на мысли что скрипт нужен для поиска дропов.

P
На сайте с 17.12.2014
Offline
15
#6

Xenu - https://devaka.ru/articles/xenu-link-sleuth

Работает в онлайн режиме - нужен инет.

1
На сайте с 27.01.2009
Offline
69
#7

Если у вас сайт на вордпрессе, есть очень хороший плагин, который в автоматическом режиме ищет битые ссылки

https://wordpress.org/plugins/broken-link-checker/

Андрей Бондаренко
На сайте с 02.11.2005
Offline
185
#8
Parenel:
Xenu - https://devaka.ru/articles/xenu-link-sleuth
Работает в онлайн режиме - нужен инет.

У меня есть десктопная программа. Мне нужен скрипт для сервера. Сам сайт на битриксе,

TF-Studio
На сайте с 17.08.2010
Offline
334
#9

закажите написание.

слишком много страниц. типовые решения могут не справится.

вам нужен многопоточный.

но есть риск, что сервер может упасть

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
W
На сайте с 13.09.2013
Offline
122
#10
TF-Studio:
закажите написание.
слишком много страниц. типовые решения могут не справится.
вам нужен многопоточный.
но есть риск, что сервер может упасть

300 000 страниц - это разве много? Конечно, это могут быть только проиндексированные, а в реальности их намного больше, но Netpeak Spider спокойно справляется с такими сайтами. Xenu, Screaming Frog и Composer тоже должны справиться. Если комп не справляется - seoto.me

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий