Поиск нужной страницы на заданном сайте

12
AM
На сайте с 03.11.2014
Offline
0
#11
xpycteamset:
а в site.ru/robots.txt смотрели? может закрыта от индексации или еще что/то
а вообще давай сайт и какую страницу найти надо. Может не так ищешь

robots.txt как посмотреть? она ж недоступна для чужих глаз вроде. sitemap`а нет. Проверял.

Сайт top3travel.ru. Ссылка была на andalusiya. Типа такого http://www.top3travel.ru/andalusiya.aspx. Но данная ссылка не дает той информации, что мне надо. Еще были belgrad, srilanka и еще что-то. Пример: через гугл нашел старую ссылку http://www.top3travel.ru/bali2.aspx. Вот такую же надо. Там еще была а-ля http://www.top3travel.ru/italy_rome.aspx, но ее вряд ли найдете. Хотя она самая важная.

Redbaron _chaos
На сайте с 12.08.2009
Offline
667
#12
Agent_MC:
robots.txt как посмотреть?.

http://site.ru/robots.txt

Гемблинг, беттинг, крипта на весь мир в 3snet, 1500+ офферов. ( https://clck.ru/TdZLM ) = = CPA.HOUSE - Топовая CPA сеть ( https://clck.ru/34Swci )
AM
На сайте с 03.11.2014
Offline
0
#13

А http://top3travel.ru/robots.txt не существует(

Mad_Man
На сайте с 10.11.2008
Offline
162
#14
AM
На сайте с 03.11.2014
Offline
0
#15

Огрооооомнейшее спасибо)))))))) Еще некоторые нашел, каких и не знал. Как понял, в архиве они были, поэтому и не мог найти нигде. А если не архивные, можно найти? Мне просто одну ссылку восстановить осталось http://www.top3travel.ru/italy_rome.aspx. Но тут как бы тяжелее. Пример: http://top3travel.ru/bali_video_4356.aspx. Если бы знал алгоритм, методом подбора нашел бы, а так...

Mad_Man
На сайте с 10.11.2008
Offline
162
#16
Agent_MC:
Огрооооомнейшее спасибо)))))))) Еще некоторые нашел, каких и не знал. Как понял, в архиве они были, поэтому и не мог найти нигде. А если не архивные, можно найти? Мне просто одну ссылку восстановить осталось http://www.top3travel.ru/italy_rome.aspx. Но тут как бы тяжелее. Пример: http://top3travel.ru/bali_video_4356.aspx. Если бы знал алгоритм, методом подбора нашел бы, а так...

Заходите на вебархив, указываете главную страницу сайта, выбираете интересующую дату (начало 2013 вполне сойдёт) и ползаете по ссылкам и разделам сайта того времени. Если интересуют страницы, до которых нельзя добраться нормальным способом - то либо через вездесущий гугл, либо обращайтесь к владельцу сайта, там сейчас работают одновременно две версии сайта, из которых вас интересует старая (учтите также, что www.top3travel.ru и top3travel.ru - два разных сайта для поиска из-за проблем со склейкой доменов, соответственно все запросы на поиск желательно дублировать в двух вариантах: с "www." и без).

Есть ещё вариант поискать в выдаче ссылки, которые могли быть оставлены случайно самими пользователями на подобные страницы, но вероятнось не высока.

Если интересует именно видео, то эти ребята заливают всё на свой канал на ютубе, где под каждым видео есть линк на страницу сайта.

AM
На сайте с 03.11.2014
Offline
0
#17
Mad_Man:
Заходите на вебархив, указываете главную страницу сайта, выбираете интересующую дату (начало 2013 вполне сойдёт) и ползаете по ссылкам и разделам сайта того времени. Если интересуют страницы, до которых нельзя добраться нормальным способом - то либо через вездесущий гугл, либо обращайтесь к владельцу сайта, там сейчас работают одновременно две версии сайта, из которых вас интересует старая (учтите также, что www.top3travel.ru и top3travel.ru - два разных сайта для поиска из-за проблем со склейкой доменов, соответственно все запросы на поиск желательно дублировать в двух вариантах: с "www." и без).

Есть ещё вариант поискать в выдаче ссылки, которые могли быть оставлены случайно самими пользователями на подобные страницы, но вероятнось не высока.

Если интересует именно видео, то эти ребята заливают всё на свой канал на ютубе, где под каждым видео есть линк на страницу сайта.

Я уже искал по всякому. Не получается. А есть платные сервисы, которые помогут в этом? На ютубе они выкладывают видео, только почти все видео закрытые. А вот тема "оставленных случайно самими пользователями ссылок" уже интересно. Но вроде искал уже так.

AM
На сайте с 03.11.2014
Offline
0
#18

Так есть платные сервисы, чтобы узнать эти ссылки, на которые не перейти?

AM
На сайте с 03.11.2014
Offline
0
#19

Ау! По ходу я достал всех

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий