Посоветуйте программу или скрипт для получение URL всех страниц сайта

12
Vitaliy_M
На сайте с 15.06.2011
Offline
87
3038

Может есть у кого скрипт или программа такая :

на входе: главная страница сайта (http://site.ua)

на выходе: список всех страниц сайта

3.Ы. По-гуглил но не могу пока найти того что мне нужно.

RT
На сайте с 02.07.2012
Offline
90
#1

xenu link sleuth

Vitaliy_M
На сайте с 15.06.2011
Offline
87
#2
Russian Traveller:
xenu link sleuth

С помощью Хenu пробовал реализовать свою задумку. Но эта прога парсит все типы файлов , при этом в настройках программы смотрел и пытался ограничить парсинг именно на .html внут. страницах - не получилось. Может я что-то не понимаю..но Хenu не совсем подходит под мою потребность.

Могу ошибаться.

sear4er
На сайте с 04.03.2010
Offline
742
#3

STGrabber - в сети есть.

Профессиональный SEO аудит с гарантией результата (форум). (/ru/forum/824674) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). (https://evoseo.ru) Бесплатные SEO консультации. (https://evoseo.ru/seo-consultaciya/)
mark3000
На сайте с 29.08.2009
Offline
115
#4

У меня в подписи попробуйте, она платная но там 5 дней триала так что уложитесь проверить не один сайт :)

LINKOSCOP 4.2 (http://www.interascope.biz/linkoscop-4/) это 100+ функций для работы с внутренней перелинковкой
VoV@
На сайте с 22.09.2007
Offline
196
#5

Программа или сервис генерации sitemap.xml, например http://www.xml-sitemaps.com/ (только там до 500 адресов).

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
6uoncuxo3
На сайте с 05.11.2008
Offline
202
#6
Vitaliy_M:
но Хenu не совсем подходит под мою потребность.
Могу ошибаться.

Очень даже подходит - выгружаете отчёт, там уже список валидных/битых урлов.

P.S. Обратите внимание, Xenu ещё и внешние урлы в отчёт добавляет.

We all live in a sick world, where hatred is a weapon, and freedom - a dream. © На небе — Бог, на земле — Россия. © Сербская поговорка.
SmileP
На сайте с 18.02.2010
Offline
386
#7
Vitaliy_M:
ограничить парсинг именно на .html внут. страницах - не получилось.

Как вариант- в Эксели обработать полученный список.

IBakalov
На сайте с 05.10.2011
Offline
218
#8

Как вариант можно SiteMap Generator http://wonderwebware.com/sitemap-generator/

Artisan
На сайте с 04.03.2005
Offline
353
#9
Vitaliy_M:
Может есть у кого скрипт или программа такая :
на входе: главная страница сайта (http://site.ua)
на выходе: список всех страниц сайта

3.Ы. По-гуглил но не могу пока найти того что мне нужно.

wget выкачает сайт и сложит в файл

wget-log отчет с адресами страниц.

$ wget -r -t 0 -l 999999 \

--no-parent \

--no-clobber \

--background \

--page-requisites \

--domains="site.ua" \

http://site.ua/

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
worldfoto
На сайте с 20.04.2012
Offline
197
#10

Я вам ссылку в лс бросил качайте

⭐-> HostPro.ua_ - Лучший хостинг. с CPanel и бесплатным ssl сертификатом. Сам пользуюсь и рекомендую. Пожизненная скидка -10% с промокодом, на Хостинг, Cервера "searchengines-10%" https://bit.ly/38IeuNR
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий