Как узнать какие страницы есть на сайте (к которым есть публичный доступ)?

Sanu0074
На сайте с 31.08.2012
Offline
110
853

Например есть блог и на нем есть n кол-во статей. Как узнать адреса этих статей, при условии что на сайте нет sitemap.xml и не откуда достать ссылку.... Как-то же это делают google, yandex и другие ПС.

G0
На сайте с 10.08.2013
Offline
12
#1

Робот бегает по ссылкам на странице и сохраняет их. Паук

anser06
На сайте с 11.03.2006
Offline
292
#2

Десктопная программа Xenu's Link Sleuth обходит весь сайт, проверяет ссылки на "битость" и создает карту сайта. Еще есть бесплатные и платные онлайн сервисы.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий