Программа, сканирующая url адреса сайта

K7
На сайте с 25.11.2015
Offline
17
5190

Добрый день! Подскажите, пожалуйста, программные решения, позволяющие просканировать собственный сайт (несколько десятков тысяч страниц) и сформировать отчет по всем имеющимся на нем url-адресам.

AdelinaHost
На сайте с 21.11.2012
Offline
169
#1
kaufmann7:
Добрый день! Подскажите, пожалуйста, программные решения, позволяющие просканировать собственный сайт (несколько десятков тысяч страниц) и сформировать отчет по всем имеющимся на нем url-адресам.

Карта сайта в смысле?

ADELINAhost - На рынке с 2012 года! - Шаред Хостинг, VPS, Выделенные Сервера, VPN . (https://lyrics.az)
Локации: Россия, США, Англия, Германия, Франция, Нидерланды, Украина, Сингапур, Австралия, Япония, Австрия (https://www.adelinahost.com/ru)
samimages
На сайте с 31.05.2009
Offline
427
#2

kaufmann7, xenu и ComparseR - можно вместе, они логикой отчетов отличаются

Опыт как иммунитет — приобретается в муках! Хостинг: экономия до 1300 руб + домен в подарок ( https://clck.ru/XLscf ) / Аудит семантики от 15К [долго] - ЛС
c3po
На сайте с 24.08.2012
Offline
194
#3
kaufmann7:
Добрый день! Подскажите, пожалуйста, программные решения, позволяющие просканировать собственный сайт (несколько десятков тысяч страниц) и сформировать отчет по всем имеющимся на нем url-адресам.

Какие данные вы хотите получить?

Что должно быть в отчете?

Топвизор — сервис поисковой аналитики (https://topvisor.com/ru/)
S
На сайте с 25.11.2008
Offline
124
#4

Не знаю в каком виде вам нужен отчет, и что вы в целом имеете в виду под отчетом, но может вас устроит эта бесплатная панель сайтов. Сбор ссылок не основная ее функция, но все-таки является одной из возможностей.

На данный момент собранные ссылки выводятся в виде таблицы с сортировками и фильтрацией. В скором времени будут некоторые вариации как над их поиском, так и над списком - экспорт и т.п.

Выглядит сейчас это так -

[ATTACH]154802[/ATTACH]

Следует понимать, что сбор ссылок происходит не мгновенно после добавления сайта в систему, а в течение некоторого времени.

png vnutr_ish.png
Бесплатные виджеты для сайта (https://pfka.ru). Технический анализ сайта ( https://linkonavt.ru/services/sitetechnologies ).
ProLiant
На сайте с 07.12.2005
Offline
249
#5
c3po:
Какие данные вы хотите получить?
Что должно быть в отчете?

Так понимаю, человек хочет найти все исходящие урлы со своего сайта.

Выбирай оптимальный хостинг (http://cp.inferno.name/aff.php?aff=2053) для стабильного заработка на файловом трафе (https://espays.com/s.php?f=38). ;)
daocrawler
На сайте с 24.08.2016
Offline
1
#6

Если задача в том, чтобы маппить веб-приложение, то эту задачу адекватно решают сканеры безопасности, например Burp

K7
На сайте с 25.11.2015
Offline
17
#7

Большое спасибо за Ваши ответы.

Программа нужна для сбора url адресов сайта и последующей настройки 301 редиректов на новые ЧПУ адреса.

Thommy
На сайте с 06.05.2010
Offline
139
#8
kaufmann7:
Большое спасибо за Ваши ответы.
Программа нужна для сбора url адресов сайта и последующей настройки 301 редиректов на новые ЧПУ адреса.

Screaming frog seo spider

A
На сайте с 08.12.2009
Offline
51
#9

Протестируйте http://free-parser.net/

если поможет, можем снять ограничение для вас

Прога весьма примитивная, но сайты по 30-50к страниц хавала

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий