С Google что-то странное творится :)))

Блин, да они базу обновили! http://216.239.39.100/search?hl=ru&q=cache%3Ahttp%3A%2F%2Fclx.ru%2F

Алексей

Может, для кого-то я открою страшный секрет, но Google не зря установил свой Бар. Каждый раз, когда человек со включенным индикатором PageRank или Category открывает в браузере страницу, Google получает информацию про URL сайта. Кроме URL передается также поле referer и, иногда, параметр freshness_check. Как нетрудно догадаться, его значение -- это код, подобный CRC, изменение которого означает изменение страницы. Google запоминает в базе информацию обо всех изменениях, а у страниц, PR которых более 4/10 (по моим наблюдениям), переиндексация может произойти досрочно (ранее месячного цикла). Иногда встречаются обновляемые страницы с PR 3/10, но это скорее исключение, чем правило. Более или менее регулярная переиндексация по вышеуказанному принципу начинается с PR 5/10..6/10 (в зависимости от точного значения PR до округления).

Решение о переиндексации принимается на основании нескольких факторов, среди которых точно есть PR страницы и, предположительно, учитывается трафик на странице (число посетителей, у которых есть Google.Bar со включенным PR/Catalog) и другие факторы.

Следовательно, чтобы ваша страница досрочно появилась в базе, достаточно поднять ее PR до 4/10 (лучше 5/10..6/10) и, как минимум, зайти несколько раз самому на страницу со включенным индикатором PR, а лучше привлечь зарубежный трафик на страницу на день-два.

С уважением,

Александр Садовский.

Сразу возникает идея

Александр, Вы случайно не знаете способ определить наличие toolbar у посетителя страницы? Если существует несложный способ - я бы по крайней мере в двух известных SAP-системах наличие тулбара сделал бы требованием. Дальше, думаю, всем понятно

Алексей

это же объекты, как и Flash - должно быть похоже ... причем есть два момента 1) установлен 2) включен

Определить, имеется ли тулбар, думаю, нельзя, для этого нужен доступ либо к реестру, либо к винчестеру. Это не объекты, как Flash, это плагины к IE.

Но существует другой способ. У тулбара Google есть хэш-функция, высчитываемая на основе строки с URL, предотвращающая простые способы получения значения PR без загрузки сайта в браузере. (Google с этим активно борется, особенно памятна история с программой PRMaster). В то же время, эта функция зависит только от URL, и для одного и того же сайта всегда одинакова.

При открытии страницы в браузере тулбар считывает xml-страницу по адресу вида:

http://www.google.com/search?client=navclient-auto&ch=53582105012&q=info:http%3A%2F%2Fwww%2Esearchengines%2Eru

где ch -- это хэш-значение URL, q -- сам URL, также могут присутствовать параметры вроде "freshness_check=3nWPwu-1e_CXB1R9Hhtf8" и "orig=http%3A%2F%2Fwww%2Esearchengines%2Eru%2Fcgi%2Dbin%2Fpostings%2Ecgi%3F", обозначающие, соответственно, "контрольную сумму" текста страницы или ее элементов и referer.

Следовательно, как только страница изменится, никто не мешает узнать новое значение freshness_check и разместить на сайте нулевым фреймом код, который открывает подобный xml-файл. Все посетители автоматически будут загружать ее и передавать Google нужную информацию.

То же касается голосования в Google-Toolbar. Когда нажимается кнопка с улыбкой (вам нравится страница), бар открывает страницу по адресу вроде http://www.google.com/search?client=navvote&vote=u&timestamp=1019651126&ch=43614895103&url=http%3A%2F%2Fwww%2Erambler%2Eru%2F

Несложно определить способ высчитывания timestamp и поставить открытие такой страницы в нулевом фрейме. Чтобы было менее подозрительно, можно открывать случайным образом и только для посетителей из США. Совсем редко можно давать отрицательные "отзывы". В итоге получится, что ваша страница нравится очень многим пользователям, и это может поднять ее ранг, либо накрутку заметят и выкинут сайт из базы.

С уважением,

Александр Садовский.

Александр, я помню, вы упоминали топик иностранного сайта с обсуждением программы PRMaster. Насколько я понял из того топика, Гугль пересылает еще некие внутренние куки при работе тулбара. Видимо, эти куки как раз и используются для отлова такого рода накруток. Тем более, что нельзя определить наличие тулбара-поэтому даже для англоязычных пользователей рискованно делать такие фреймы.

Кстати, в одном из топиков (про Яндекс-Бар)обсуждался метод, который в принципе, может быть использован для определения наличия Гугль-тулбара. Тулбар перехватывает загрузку урлов определенного вида, и использует это для настройки себя. Можно открывать в доп. окне сначала свой урл(свой домен), потом этот урл(гуглевый), и через некий таймаут пытаться определять реальный location. Если второй урл не прогрузился, установки безопасности броузера позволят определить реальный урл (на том же самом домене). И из этого сделать вывод, есть ли Гугльбар.

Не cookies, а аналог хэш-ключа, какой-то код, который однозначно высчитывается на основании URL. Следовательно, если задача имитировать обращение через тулбар к конкретному сайту, узнать этот код -- дело пяти секунд.

Другое дело, если требуется в обход тулбара считывать значения PR -- тут потребуется вскрыть алгоритм формирования ключа, что довольно непросто.

С уважением,

Александр Садовский.

Нет, Александр, я имею в виду именно куки, которые ставит Гугль. Вот в 2-х топиках я нашел упоминание о них-

http://www.webmasterworld.com/forum3/1806.htm

http://www.webmasterworld.com/forum3/1623-2-15.htm

В первом обсуждении говорится, что программа PRMaster содержала ошибку -- она отсылала Гуглу одно и то же значение cookies, независимо от используемого комьютера. Это самое обычное значение cookies, которое получает любой браузер при обращении к Гуглу. Ошибка не мешала программе работать, она просто давала возможность отследить тех, кто использует PRMaster.

Второе обсуждение касается кук Гугла, которые "действительны" в течение 36 лет, и пользователи, ценящие свое privacy, должны их периодически удалять.

Ясно, что отследить подобные программы можно не только по одинаковому значению cookies. Как правило, они не утруждают себя открытием страницы, посылая Гуглу лишь запрос о PR заданных страниц. Они не подсчитываются freshness_check, интервал между запросами крохотный и т.д. Но если имитировать работу обычного пользователя, то обнаружить использование такой программы будет крайне непросто.

С уважением,

Александр Садовский.

Ну да, значит я правильно понял. Итак, Гугль-бар устанавливает куки, и если сайт в невидимом фрейме откроет "страницу с улыбкой" или отошлет неким образом "freshness_check", то его можно отловить. Наверное, для этого и придумано. Пользователи, не имеющие Гугльбара, но открывающие эти урлы (соответственно, и сайты, которые это делают), могут быть видны Гуглю.

-соответственно, фреймы по отсутствию их можно отследить.

Стало быть, этот прием опасный.