Как найти все ссылки чужого сайта?

12
C
На сайте с 13.06.2016
Offline
28
#11

и закрытые от индексации найдутся?

MK
На сайте с 18.08.2005
Offline
126
#12
и закрытые от индексации найдутся?

Ну, если это ваш... Не видел ни одного, частного скажем так бота, который учитывает директивы robots/meta. Скажу больше, бот который корректно работает с allow, disallow, nofollow, noindex и прочими инструкциями станет неприлично сильно дороже;)

нет
_
На сайте с 24.03.2008
Offline
381
#13

sitemap ищите... судя по тому, что наружу торчит такое

https://echo.msk.ru/att/traffic.html

может торчать всё, что угодно

https://echo.msk.ru/sitemap-news.xml

как пример

Дальше - сами.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий