Kost

Рейтинг
737
Регистрация
31.01.2001

А вы хотя бы раз зайдите в каталог не прогой а живьем и почитайте правила, что там берут, а что-нет. Вам лишь бы поспамить, выражаю антиреспект.

nomer-odin:
Все понял, во общем определить полностью нельзя про индексирован сайт или нет.

Если у вас миллион страниц и вы хотите знать ответ с точностью до страницы, то нельзя.

А если на сайте сто страниц, то никаких проблем. Главное - знать, сколько у вас на самом деле страниц на сайте.

kosenka:
страницы открываются.

Открываются точно по тому же адресу, который указан? С точностью до завершающего слеша?

Проверьте.

Если человек приходит не по ссылке с сайта (без реферрера), тогда вроде никак.

SotEX:
сайтов ни у кого нет

А что есть?

Внизу каждой страницы Рамблера "Связаться с нами". Неужели не нашли?

SplideX:
Мне надо получить все проиндексированные страницы одного сайта Яндексом. Если ли программа, которая может это сделать? Отпарсить не получается, потому что выдача идёт максимум 50 штук на страницу, а там около 400 000 страниц проидексировано.

Да, тут есть принципиальное ограничение. И не потому, что по 50 штук на страницу (всегда можно зайти на следующую страницу), а потому что общее ограничение - 1000 результатов поиска.

Вы можете попробовать так:

url="www.site.ru/a*"

url="www.site.ru/b*"

....

url="www.site.ru/1*"

.....

Если брать комбинации из 2-3 символов, можно перебрать все. Только это надо делать с умом, если, например все страницы сайта кроме главной

www.site.ru/content/pages/******* :).

Думаю, идея понятна. Вот только Яндекс не обрадуется такому количеству запросов, да и зачем.

Поскольку тема на грани правил форума, закрываю ее дальнейшее обсуждение.

Ну пусть повесит то, что хочет, поспорьте с ним. Хотя это жесткач, зато бан запомнится надолго.

panic, можете сделать так на своем сайте и сообщить тут адрес страницы. А через неделю узнаете ответ. Собственный опыт запоминается на порядок лучше ;).

Если нет конкретных вопросов, то почитайте сначала что-нибудь.

Всего: 14616