А не скачать ли нам базу ссылок рунета? :)

Newm, ну, такие вещи, как отпадение части ссылок из выдачи - сложно перебить чем-то.

нормально, главное уловить смысл

уже неучитываем некий%, плохо...тут ты неправ, они (ссылки) ведут на страницы которых не существует 302 и Locationкакие мы брать будем? или будем считать по всему обозначеному пределу?:)без этого знания вся затея имхо это гадание на кофейной гуще, отсюда можно будет выловить только распределение мордоссылок, что реальной картины не даст по общей задумке

Евгений, если я правильно понял xml Яндекса это xml интерфейс к такому же поисковику. Можно ли чуть подробнее, как ты представляешь себе скачивание ссылок на 500 тыс. хостов? Какие запросы планируешь задавать и где гарантия, что они будут уникальными?

-ты собираешься каждую ссылку проверить, прокачав ее? :) А ссылки отображаются в выдаче.

-вообще-то, я хочу взять данные и поделиться с соседями. Как считать - персональное дело каждого. Можно, как обычно, взять 0.85, что соотвествует 6.66 хитов на хост :)

-ну, в среднем по больнице должно выйти нормально. Надо просто подумать, как выцепить еще и число проиндексированных страниц без доп. запроса в Я-ХМЛ. Ну лил можно физически выкачать морды сайтов и посмотреть, сколько с них реально ссылок внутрь. Но это уже совсем другая история.

Ну и опять-же, считаем кто как хочет. :)

Dm,

-задаем 500 тыс. запросов вида #link="www.site.ru*"|#link="site.ru*"

Если в ссылающихся находим новые домены, скачиваем данные и по ним тоже.

А может обратиться с ком. предложением в Яндекс? Они ещё и скидку сделают... особенно, если услугой будем регулярно пользоваться.

100$ в месяц на благое дело не жалко ;)

Вот только попрогать самим тоже придётся, а то от инфы больно мало толку будет.

А наценку они не сделают вместо скидки? :)

Жень ты собираешся учесть добрую половину всех ссылок которые нафиг не нужны:)

ок, оставим кто по какому коэффициенту будет считать, давай разберемся что мы вообще будем считать:)В среднем по больнице нифига не получится:)

просто к примеру есть 2 препятствующих фактора

1. сквозные ссылки /более весомый фактор

2. яндекс зараза:) ну никак не хочет давать нам инфу о количестве ссылок и самих ссылках которые лежат вне диаппазона в 1010 результатов которые он отдает, хотя эта величина мала и ей можно пренебречь

Идея:) навеяно в среднем по больнице

берем общее число сайтов в яндексе и присваиваем каждому среднее число ссылок на сайт... отличную среднюю температуру получим;)

wayfarer,

-не понял, почему я собираюсь отсечь? Есть ссылка. Она отображается в выдаче, но ведет на редирект. Ну и хрен с ней.

-я хочу Вицы считать. Но не хочу никому навязывать - считайте, кому что нравится. :)

-ну, если учесть, что алгоритм расчета Вица и ссылочного ранжирования неизвестны, тогда и вообще ничего не выйдет? :)

Прикинуть число уровней структуры на сайте можно. Даже исходя из предположения, что один уровень структуры кроме морды, и любая внутренняя ссылка принадлежит этому уровню - этот расчет ПР уже гораздо точнее, чем расчет только по мордам.

я там исправил сообщение

вот и я хочу, но без структуры сайтов, вИЦа каждой страницы, учета сквозных ссылок это будет всего-лишь охота на ведьм, т.к. не получится даже приблизительного результатауровень структуры тоже ничего не даст, т.к. уровень это одно, он например может быть завязан только через карту сайта (что кстати практикует одна небезизвесная компания) а может быть завязан на ключевой узел, а еще вариант что завязано на все кроме главной...

эх... может лучше денег на робота и ресурсы пособираем?:)