SplideX: Мне надо получить все проиндексированные страницы одного сайта Яндексом. Если ли программа, которая может это сделать? Отпарсить не получается, потому что выдача идёт максимум 50 штук на страницу, а там около 400 000 страниц проидексировано.
Да, тут есть принципиальное ограничение. И не потому, что по 50 штук на страницу (всегда можно зайти на следующую страницу), а потому что общее ограничение - 1000 результатов поиска.
Вы можете попробовать так:
url="www.site.ru/a*"
url="www.site.ru/b*"
....
url="www.site.ru/1*"
.....
Если брать комбинации из 2-3 символов, можно перебрать все. Только это надо делать с умом, если, например все страницы сайта кроме главной
panic, можете сделать так на своем сайте и сообщить тут адрес страницы. А через неделю узнаете ответ. Собственный опыт запоминается на порядок лучше ;).
А вы хотя бы раз зайдите в каталог не прогой а живьем и почитайте правила, что там берут, а что-нет. Вам лишь бы поспамить, выражаю антиреспект.
Все понял, во общем определить полностью нельзя про индексирован сайт или нет.
Если у вас миллион страниц и вы хотите знать ответ с точностью до страницы, то нельзя.
А если на сайте сто страниц, то никаких проблем. Главное - знать, сколько у вас на самом деле страниц на сайте.
страницы открываются.
Открываются точно по тому же адресу, который указан? С точностью до завершающего слеша?
Проверьте.
Если человек приходит не по ссылке с сайта (без реферрера), тогда вроде никак.
сайтов ни у кого нет
А что есть?
Внизу каждой страницы Рамблера "Связаться с нами". Неужели не нашли?
Мне надо получить все проиндексированные страницы одного сайта Яндексом. Если ли программа, которая может это сделать? Отпарсить не получается, потому что выдача идёт максимум 50 штук на страницу, а там около 400 000 страниц проидексировано.
Да, тут есть принципиальное ограничение. И не потому, что по 50 штук на страницу (всегда можно зайти на следующую страницу), а потому что общее ограничение - 1000 результатов поиска.
Вы можете попробовать так:
url="www.site.ru/a*"
url="www.site.ru/b*"
....
url="www.site.ru/1*"
.....
Если брать комбинации из 2-3 символов, можно перебрать все. Только это надо делать с умом, если, например все страницы сайта кроме главной
www.site.ru/content/pages/******* :).
Думаю, идея понятна. Вот только Яндекс не обрадуется такому количеству запросов, да и зачем.
Поскольку тема на грани правил форума, закрываю ее дальнейшее обсуждение.
Ну пусть повесит то, что хочет, поспорьте с ним. Хотя это жесткач, зато бан запомнится надолго.
panic, можете сделать так на своем сайте и сообщить тут адрес страницы. А через неделю узнаете ответ. Собственный опыт запоминается на порядок лучше ;).
Если нет конкретных вопросов, то почитайте сначала что-нибудь.