На runet.ru интервью с Владиславом Шабановым (Rambler)

К сожалению, есть еще один параметр, о котором интервьюруемый тактично умолчал. Активность роботов. Естественно, никаких обобщений.

420 0.23% Yandex/1.01.001 (compatible; Win16; I)

240 0.13% Yandex/1.03.000 (compatible; Win16; M)

179 0.10% Yandex/1.01.001 (compatible; Win16; P)

62 0.03% Yandex/1.01.001 (compatible; Win16; H)

1 0.00% Yandex/1.03.003 (compatible; Win16; D)

1 0.00% Yandex/1.01.001 (compatible; Win16; i)

20 0.01% StackRambler/1.4

Активность Фаста и Гугля не привожу из сотрадания к господину Шабанову. А остальное - лирика.

2 spark

Ваши данные вполне укладываются в то, что говорил г-н из рамблера.

Робот просто не индексирует "лишних" страниц =)

Это данные по одному сайту, и никаких дублей там быть не может по определению :) Если г-н Рамблер умеет определять, какие именно из страниц разных страниц одного сайта лишние, а какие нет, это новое слово в SE.

spark

Добавь - не читая их.

2 vs - Влад, придется комментировать собственное интервью. Тем более, что давно никакого шума вокруг Рамблера не было, все больше о Яндексе...

Я повторю одну кислую мысль, уже высказанную в сегодня в приватном общении. Нелепо позиционировать Рамблер, исключительно как поисковик.

У него есть кое-что, чего у Яндекса нет по определению, и если так уж нужен PR (не в гуглевском значении), нужно расхваливать себя, уникального, именно с этой точки зрения.

С точки зрения web-мастера главный критерий: сколько людей приводит поисковик на сайт. С точки здения его начальника - сколько денег приносит сайт. По первому параметры отдача от Яндекса и Рамблера, в общем, сравнима (есть сайты, куда больше ходят с Рамблера, есть - куда больше ходят с Яндекса). по второму - не знаю, есть разные мнения. Серьезного исследования, которое бы делало статистически обоснованные выводы на эту тему я не видел.

Кстати, если не ошибаюсь, на этот сайт больше ходят с нашего поисковика.

Активность робота, конечно, на эти вещи влияет, но не так, как господин spark пытается это представить. Опять же, процитирую Илью Сегаловича - мы (как и Яндекс) заботимся не о web-мастерах, а о пользователях интернета. Свежую информацию для пользователей мы поставляем с избытком, а если наш робот обошел вниманием чей-то сайт, то на то и web-мастер, чтоб за такими вещами сделить и исправлять ситуацию.

2 spark. Вы не пробовали разобраться, почему это происходит?

Что же касается игнорирования ссылок не читая - да, мы часть ссылок пропускаем и не качаем.

Не качаем (то есть, не обращаемся за страницей):

1) Искусственные каталоги, порожденные русским апачем (/win/, /koi/ и т. д.). То же самое - порты или поддомены, по которым раскидывает русский апач при соответствующей настройке.

2) Идентификаторы сессий (PHPSESSIONID)

3) Динамику - про это уже много говорили.

4) Руководства по apache и аналогичную информацию, которую инсталлятор web-сервера ставит по умолчанию или которую слишком любят копировать себе на сайт web-мастера.

Думаю, что в Яндексе есть аналогичные фильтры, хотя, значительно более "либеральные". В январе 2002 года мы проводили исследование - взяли результаты поиска Яндекса по нескольким десяткам запросов и покачали/поиндексировали их Рамблером (разумеется, сбросив все эти фильтры-запреты). На тот момент мы дубли объединяли лучше, причем большя часть распознанных дублей была бы "удавлена" нашими фильтрами URL без всякой выкачки.

Кто лучше клеит дубли сегодня - не знаю, времени на такое исследование нет. Сейчас на Рамблере повторов много, но за счет зеркал (скачали с одного зеркала тысячу страниц, а со второго - пятьсот. Получили, что пятьсот дублей, а еще пятьсот - хорошие уникальные страницы про то же самое). Склейщик зеркал уже почти готов, в сентябре собираемся внедрить. Уже сейчас пару сотен серверов могут увидеть про себя сообщение, что мы их не качаем, потому, что они зеркала такого-то сайта.

2 Gray: Вы не находите, что участники форума немного подхамливают?

vs

Если это я "подхамливаю", то покорнейше прошу прощения за себя и свой вебалайзер.

Ну, в общем, да. Лог ведь "хитрый" - с первого взгляда кажется, что разница в 50 раз, а на самом деле - сильно меньше, так как заходы подсветчика, картинок и закладок надо вычесть. С тем, какие строчки (какую букву Win16) надо вычеркнуть, перед тем, как сравнивать, знатоки Яндекса скажут сразу, по памяти.

vs

Заранее извиняюсь на всякий случай.

Знаете, что меня настораживает? С год назад на этом форуме (не Вы ли?) доказывали, что Спайлог почему-то не прописывает заходов с Рамблера, и вся глобальная статистика его по поисковикам - далека от действительности. А сейчас,я смотрю, вроде правильная была статистичка, и Рамблер уже признал. Уже про то, что у вас более кредитоспособная аудитория приходится намекать. Проверить все равно почти невозможно.

И вообще, что это я за Яндекс отдуваюсь?

В главном Ваши позиции совпадают - мы (как и Яндекс) заботимся не о web-мастерах, а о пользователях интернета.А пользователям логи не интересны.

Считайте мой лог какой-то аномалией и флуктуацией, и свидельством низкой профпригодности, я не против. Но самоуспокоенность не всегда хорошо. Это я вам уже как пользователь Рамблера со стажем сообщаю.

Немного не понял что Вы имеете в виду.

Тогда обсчитывать в реальном времени не получилось и корректно сравнить таким образом посещаемости поисковиков не удалось.

Сравнивать посещаемость Вы можете хоть каждый день - и у Яндекса и у нас она открыта. Только сопоставлять числа очень трудно, о чем, собственно, я и ответил Никите Шерману.

А про кредитоспособность - это поди померяй. Сложно очень. Попробуйте сами, если Ваш сайт что-нибудь продает. Результаты сопоставления будут интересны всем. Только методику обязательно опубликуйте.

Но то, что пользователи разные - это точно. Кстати, при помощи top100 что-нибудь интересное узнать про различия можно будет - мы умеем, например, определять сферу интересов пользователя по тем сайтам, на которые он ходит (конечно, если на сайте есть счетчик top100). Я, например, в нашей баннерной системе "припаян" к категории авто-мото, потому, что на авто-ру бываю. Вот она и показывает мне баннеры про автомобили. Причем только на работе - дома жена искажает картинку :-))

P.S. да не извиняйтесь Вы так часто, проехали давно.