Можно, конечно, Денис, если это твой сайт или статистика общедоступна.
Это было риторическое предложение :)
Просто хотел сказать что быстро не получится, 30 тыс. будет качаться 2-3 часа. И это будет не онлайн результат.
Да и не в этом дело, понятно, что скачать можно, просто это не сильно будет отличаться от того же Телепорта или Регета.
А, вообще, говорили еще про онлайновый сервис (на который работает паук считающий количество страниц на сайтах), выдающий инфу о количестве страниц в онлайне, что для этого мощности нужны как у Яндекса и кому это нужно организовывать :)
Serboy, Переберите, плиз, быстро www.ixbt.com :)
Или сателлит тысяч на 30 страниц :)
PR не нужен :)
Анкор файл для страницы акцептора, в нем список анкоров всех учитываемых ссылок его доноров. Используется для "найден по ссылке" и для ранжирования по "запросу" (ссылочного)
Конечно, не выкачивая страницу, Вы не можете определить есть на ней ссылки или нет.
А перебирать страницы сайта можно только по ссылкам на страницах.
neznaika, ну не знаю, см. мой пост выше, посчитайте примерно какой нужен канал и сколько нужно путешествовать и какой период обхода будет для русскоязычного инета. Только в Яндексе 2 750 733 027 страниц.
Умножим 2 750 733 027 хотя бы на 10к (средний размер страницы), поделим на скорость 1Мбайт/с (10Мбит) = 2 750 733 0 с / 60 = 458 455 мин / 60 = 7 641 ч / 24 = 1 год.
Это связано или с дором и это было в прошлом веке, хотя в прошлом веке AdSense еще не было :)
Сейчас размещай хоть во всем инете свой код, если сайты не нарушают правила проблем быть не должно.
Слышал, что некоторые даже продают на своих сайтах места под чужой AdSense :)
Текст всех учитывающихся анкоров внешних ссылок для страницы.
Лучше спросите, как его получить из Яндекса :)
"Ты последний"? :)
Это возможно, когда Вы вложенность не глубокую задаете или другими параметрами играете. Например, задали вложенность скачки главная и еще 2 уровня внутренних.
Например, на главной 20 ссылок, на 1-м уровне внутренней в среднем 10 (уникальных) ссылок, на 2-м уровне внутренней в среднем 10 (уникальных) ссылок.
Качаем - 1 + 20 + 20*10 = 221 страниц. Но скаченный 2-й уровень дает инфу еще о 200*10 = 2 000 страниц, которые мы не качаем, но в количество страниц включить можем.
А универсально качать, без ограничения уровня, не зная, на какой странице больше нет ссылок - придется все страницы качать.
Только я так и не понял, что нужно было? :)
Поиск английского контента по японским сайтам или японского (иероглифов) контента по японским сайтам?
