Как собрать список страниц сайта, если нет sitemap.xml

L
На сайте с 01.11.2012
Offline
170
181

Привет.

Есть сайт (чужой) - как собрать список его страниц?

sitemap.xml или /sitemap - этого нет. Потому выгрузить так нельзя

как по-другому можно выгрузить все страницы сайта?

спасибо

Z
На сайте с 13.12.2009
Offline
438
#1

любой генератор карты сайта заюзайте

Консультации, seo-аудиты - https://seo-consulting.su Профессионально и без воды
Александр
На сайте с 21.05.2011
Offline
116
#2

Screaming Frog SEO Spider

Продвижение сайтов. Опыт более 10 лет. Миллионные проекты ( /ru/forum/947082 ) 80 ссылок из статей за 2000 рублей ( /ru/forum/986538 )
Lazy Badger
На сайте с 14.06.2017
Offline
199
#3

Краулером обойти, любым. Бессылочные страницы так не найти, но их и ПС не увидят (и юзеры без прямой ссылки)

Производство жести методом непрерывного отжига
L
На сайте с 01.11.2012
Offline
170
#4
DizzeeR:
Screaming Frog SEO Spider

Спасибо тебе, хороший человек.

Если увидете здесь еще 1 вопрос:

есть список картинок:

/8.jpg

/10.jpg

/7.jpg

и т.д. (естественно с полным путем-структурой сайта) и есть такие же картинки на другом сайте - можно их как-то сравнить? что мол это дубли эдакие?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий