HREF на закрытую в robots страницу

Речь идет о том, что если со страницы А у меня есть 10 ссылок, 9 из которых я закрыл через robots.txt, то при НЕучете таких ссылок весь PR уйдет на оставшуюся единственную, что может сильно повлиять на величину ее PR.

Кстати, не стоит забывать про компенсирующий фактор - вероятность случайного прыжка с любой страницы на любую другую. Эта вероятность вполне способна "исправлять" потерю PR на закрытых от индексации страницах.

Так их (закрытые ссылки) можно и не ставить вообще :) И тогда точно всё пойдет куда надо. Или можно, ссылки в JS засунуть. Было бы надо...

Возвращаясь к запрету через robots, как раз более логичным видится то, что описывал я и Interitus, а именно:

----------

Что-то я не понял про компенсирующий фактор. Поясни подробнее, пожалуйста.

Ну да, почти весь PR этой страницы. Такого "нагона" можно достигать закрытием ссылок каким-то заведомо работающим методом (хитрый яваскрипт, флеш, формы, клоакинг).

В общем вопрос как на самом деле расчитывает Гугль для закрытых страниц - однозначного ответа пока не имеет, надо наверно эксперимент какой-то ставить... а поскольку практической ценности мало - никто и не позаботился.

Я несколько иное имел написал - закрытая страница при расчете PR остальных страниц учитывается.

А как быть со страницами открытыми для индексации, но не имеющими внешних ссылок? Я думаю что для закрытых страниц PR рассчитывается аналогично. И вообще, может чего-то не понимаю, но индекс текстов документов и ссылочный индекс, по которому идёт расчет PR по-моему - разные вещи. Во втором как раз вполне могут "жить" закрытые от индексации страницы.

Это еще почему? Просто считается, что эта страница ни на кого не ссылается. Неохота смотреть на систему в этом случае, но если при этом она имеет только нулевое решение, то вполне можно ввести предположение, что подобная страница ссылается только на те страницы, которые ссылаются на нее. Кстати, разве подобных проиндексированных страниц нет в индексе (не ссылающихся ни на кого с точки зрения поисковика)? Страниц с навигацией на ява-скрипте, например. Это же значит, что у них нет PR.

Gray,

-во-во. Самый правильный ответ :)

Interitus,

-мы такого не писали! Что значит "не учитывают"? Я лично имел в виду, что это аналог "висящей страницы", а ее надо учитывать. И PR они имеют, факт.

-второй мне не нравится, т.к., как народ и пишет дальше, можно использовать это для нагоняния PR.

Есть еще третий вариант: "ВИСЯЩИЕ СТРАНИЦЫ СЧИТАЮТСЯ НАРАВНЕ СО ВСЕМИ ОСТАЛЬНЫМИ, БЕЗ ПРЕДПОЛОЖЕНИЙ О ССЫЛКАХ С НИХ". Просто берется система и считается.

Polite Moose,

-в общем интересный вариант, но его надо в формулу забить с самого начала... Если даже и ссылки нет, но кнопак "бэк" - всегда есть.

-ну, что я имею в виду под нагоном: пусть у тебя есть страница с высоким ПР. И с нее есть 100 ссылок (ну, на дорвеи, положим), из которых 99 закрыты в роботс.

Тогда: если ПР-ы всех страниц рассчитывать, учтя лишь ОТКРЫТЫЕ К ИНДЕКСАЦИИ ссылки (а их ровно одна), то все 100 страниц получат в 100 раз бОльший ПР, чем заслуживают. Хрен с ними, что они его дальше не передадут. И этого достаточно-они-то сами вылезут. Будь их хоть тыща.

Как бы мораль: так разбивать алгоритм на части нет смысла (т.е., считать прибавку ПР отделлно от уменьшения ПР). Т.е., это потенциальная дырка в алгоритме. Вероятно, Lim что-то вроде этого имел в виду.

-тогда и ПР не передастся на закрытые страницы, а он передается.

Немного о расчете висящих страниц. Вот где-то год назад (Professor свидетель :)) я делал такой эксперимент - 7 новых субдоменов, ссылающихся по цепочке на последний, висящий. Если выкидывать из расчета висящие страницы (собственно, что-то вроде этого я и хотел проверить), то после выкидывания седьмого становился висящим шестой, если его выкинуть, висящим был пятый и т.д. Вопрос был в том, "на сколько шагов назад" Гуль выкидывает. Или, на сколько шаков вперед просчитывает после выкидывания. (была такая маза, что после расчета без висящих страниц делается еще несколько итераций, с включением висящих страниц)

Так вот, все семь имели 4/10, включая висящий (ссылался на первый из них домен с пятеркой).

Кроме того, мне показалось, что я понял идеологию выкидывания висящих страниц (предположим, что это выкидывание существовало)

Идея проста: есть система N уравнений типа

Pi=(1-d)+d*sum(Pj/Cj)

где слева стоят страницы, НА которые есть ссылки, а справа - С КОТОРЫХ есть ссылки. Если эти множества совпадают, то если просуммировать все левые и все правые части, получается:

P=P1+..+Pn=N*(1-d)+d*(C1*P1/C1+...+Cn*Pn/Cn)

т.к. каждая Pj/Cj существует в правой части Cj раз

sum(P)=N(1-d)+d*sum(P)

=> sum(P)*(1-d)=N(1-d)

=>sum(P)=N

-это есть автоматическое выполнение условия нормировки. Автоматическое!!

Т.е. к-во расчетов существенно снижается. Это хорошо, и Гугль эим, вероятно, пользовался.

Но вероятно, дыры в алгоритме возникали при этом "выкидывании висящих". И Гугль отказался от этого выкидывания.

euhenio,

Э-э-э нет. Почему это закрытые страницы должны получать PR? Я то как раз предлагал вариант, когда закрытые страницы не получают PR, хотя он для них как бы резервируется. Резервируется, значит учитывается наличие ссылки, хотя по ней робот и не пойдет.

В твоем примере, 99 страниц не должны получить ничего, а одна открытая должна получить 1/100 от веса ссылающейся страницы. Именно столько она и получила бы, в случае будь все ссылки открыты. Именно это и есть "резерв". Ведь нормальна и ситуация, когда робот проиндексировал страницу, собрал ссылки (часть новых, часть старых), но пройти по новым не успел. А расчет уже производится. Для известных страниц расчет стандартен, а для неизвестных - резерв.

Резерв это не накопление, а потенциальная возможность получить PR при условии участия в системе расчетов.

На самом деле, если полагать, что PR у закрытых страниц есть, то моя схема не меняется.

В принципе, скорее всего, PR для страниц отсутствующих в индексе расчитывается. Но только по факту передачи на страницу. Закрытые страницы считаются тупиками.

Polite Moose,

Ну ведь по формуле передается по ссылкам не весь PR страницы, а лишь какая-то его часть, а остальная часть и есть мой "компенсирующий фактор" - она у всех страниц постоянна и равна заданной вероятности случайного попадения на эту страницу того виртуального посетителя, движение которого описывает алгоритм.

А чем закрытые от индексации страницы хуже, что им PR не передавать? Ссылка на них же есть. Значит и Виртуальный посетитель имеет физическую возможность на эти страницы попасть. Другое дело, что с точки зрения робота с тех страниц нет выхода...

Polite Moose,

-потому, что закрытые страницы его по факту получают - они находятся в Гугле по ссылкам - именно за счет ПР + ссылочного ранжирования.

-ты имеешь в виду разделение ПР и Сс.Ранжирования? Так это в любом случае механизм для накрутки. А если это "резервирование" не влияет на выдачу, то на кой его вообще рассматривать? Я, честно говоря, вообще не понял, что это за резервирование такое.

Тут есть 2 недырявых варианта - либо ПР на закрытые страницы передается на общих основаниях, либо не передается вообще. Но закрытые страницы вылазят в поике - в пользу первого варианта.

-это я и имел в виду. И утекание PR НА них есть. Поэтому все методы "экономии"путем закрывания в роботс не имеют смысла.

Вот тогда-то и получается ноль везде (вернее константа-минимум везде).