Ай-яй-яй, или "всех не перевешаете" (Яндекс-у посвящается)

12
JpS
На сайте с 30.10.2002
Offline
102
JpS
4954

Идя проторенной дорожкой Вячеслава Тихонова неделю-две назад с прискорбием обнаружил что мой метапоисковый сервер стал получать от сервера Яндекса следующую старницу. И еще через неделю-две (за точный срок не ручаюсь) все страницы, проиндексированные Яндексом (их было более 1К), были вычищены из базы, причем серверу на это поребовалось два дня. Сервер был запрещен к индексированию и пр. и пр. и пр. (хотя впрочем никаких пр. больше и нету :)). Хочется отметить, что получение мною старниц с Яндекса и индексация сайта в Яндексе есть суть две разные вещи, анализируя тот факт, что сделаны они одновременно, нельзя не придти к выводу, что не "один только робот" это сделал. Но не в этом суть...

Сказав себе "уфффф...", сев спокойно (разве что не читая мантры), выкурив сигаретку я взял свой любимый NetTracker и стал смотреть, что же мы получили, что потеряли. А имеем мы следующий факт (хотел привести цифры здесь, но по мере их выведения выяснил, что лучше составить отдельный отчет). Немножко поясню по таблице. Во-первых, т.к. в результате вышеуказанных событий абсолютная величина аудитории изменилась - абсолютные цифры имеют малое значение, важны относительные. Ну первая строка - понятно, рефереры. Вторая - самые популяные запросы с поисковиков, тоже не очень интересно, хотелось привести пример как изменилась тематическая аудитория сайта, но в силу малого количества абсолютных запросов эта идея здесь не сильно видна. Запросов очень много и приведены только запросы с самого верха таблицы, которая содержит приблизительно 1.5К записей. Хочу только отметить, что у меня есть внутренняя статистика запросов, которые делали пользователи метапоисковика (к сожалению недоступная в простом представлении разбитая по дням, но она открыта на сайте, я ничего не скрываю), так вот по этой статистике получается, что количество так называемых adult-запросов уменьшилось. Следующие 9 строк без изменения взяты из неттракера и я думаю, в пояснениях не нуждаются. Далее идет "Real search from site" - это внутренняя статитстика. Данное значение показывает сколько раз пользователи нажимали кнопочку "Поиск" на сайте, т.е. раельно искали. Следующая строка "/" - количество запросов к корню сайта. Нет оснований НЕ предполагать, что большая часть этих запросов - это запросы набранные в браузере руками. Ну и последнее /favicon.ico - это количество букмарков на сайт.

Попытаемся проанализировать. Все вышеуказанные события произошли 11-12 числа (последние две колонки в отчете). Что мы видим? Естественно, мой самый популярный реферер, Яндекс, отказался поставлять мне своих посетителей и резко упал в процентном отношении, дав однако при этом дорогу Гуглю, что не может не радовать (процентное отношение Гугля изменилось с 10-11% до 22%), что кстати верно и для других поисковиков. Но тут я с вами соглашусь, это произошло "автоматически", за счет ухода Яндекса. Кстати, я думаю, что завтра значение Яндекса вообще будет где-то около 0. Трафик сайта значительно упал. Полгига в день - это достаточно больно, особенно на всеми нами "любимом" Валуе :). Ну хоть что-то должно быть хорошее :).

Как я указывал выше, тематически аудитория изменилась, как мне кажется в лучшую сторону. Безусловно технические параметры упали (хиты, визиты и пр.). Однако не может не радовать, что параметр "Average visitor repeat rate" (который отражает количество "вернувшихся" визитеров) не упал, а в некоторых случаях даже выше, чем в те дни когда "Яндекс был с нами" :). Пусть вас не смущает малое количество страниц просматриваемых пользователями, это Avarage. Вот к примеру статистика с Рамблера (за 12.02.2003): 1стр. - 1117, 2стр. - 228, 3-5стр. - 156, 6-10стр. - 34, 11-20стр. - 16, 21-50стр. - 4. В силу ну просто очень большого количества "залетных" 1117 визитов среднее получается именно два, а в силу округления их до целых проанализировать изменение практически не возможно. Теперь о контенте. Что же люди смотрели и стали смотреть. Параметры в общем не изменились (но не ухудшились!). Не может не радовать значительное (~ в 3 раза) увеличение заходов на корень сайта. То есть те самые "залетные" были именно с Яндекса.

Ну и резюмируя приведенную мною статистику. Как мне кажется, после того как Яндекс перестал работать с моим сайтом, я как мне кажется не очень много потерял, а даже улучшил свою аудиторию, хотя предвещая ваши возгласы, соглашусь, что аудитория метапоисковика - это отнюдь не _моя_ аудитория. Но не за хитами я гонюсь (об этом ниже).

Что можно сказать по статистике Рамблера. Да в принципе ничего не изменилось. Я как болтался на второй странице в своем разделе, так и болтаюсь там, немножко понимаясь в начале дня (в силу независимости сервиса от времени суток) и опускаясь к вчеру. Статистику Рамблера не привожу, т.к. там будет виден сайт, а это не есть цель моего обсуждения.

А теперь... О чем это я? Хмм... вы еще здесь? Не хотите чаю?

Хочу извиниться перед читателем сего топика за столь лирически-техническое отступление, но если вы еще читаете его, то хочется обратиться к цели моего поста. С момента поста Вячеслава Тихонова прошло чуть больше двух лет, но хочется спросить "А где же воз?". А воз как грится, и ныне в ней, в ж.... Доколе общение метапоисковиков и поисковиков будет похоже скорее на битву в Хельмовой Пади, чем на разумный разговор. Да, я согласен, по мнениям некоторых (уж извините, я думаю найдете топики сами), метапоисковики нарушают треб... сорри, рекомендации (!) robots.txt. Однако, по мнениям других (топики там же :)) метапоисковая машина - не робот, а средство в руках пользователя. Да, я согласен, возникает дополнительная нагрузка. Но владельцы поисковиков немножечко лукавят, говоря о нагрузке. А если пользователь набирает тот же самый запрос на Яндексе, разве он не создает ту же самую (и даже большую, за счет загрузки банеров и рекламного контента) нагрузку? А если метапоисковая система будет кэшировать запросы (как это сделано у меня), тем самым даже уменьшая (!) потенциальную нагрузку на сервер. Неееет, друзья мои, не в нагрузке дело. Дело в собственности и деньгах. Кто (именно кто ИЗ) заработает эти деньги. Но вот тут то как раз и наступило бы самое время для тех самых разговоров. Ходят идеи об обмене в XML формате между поисковыми системами. Возможны финансовые взаимотношения. Можно просто "поговрить за бутылочкой чая". Но требуется как минимум _начать_ разговор, а не "рубить концы", как это делает Яндекс (да может быть и кто-нибудь еще). Да, конечно, понимаю, кто я, а кто Я (извините за калабур:))? Зачем писать админу метапоисковика письма, предупреждения или вообще пытаться говорить? Проще просто закрыть вентиль с газом. Ну так и будет как в анекдоте "Вы газ воруете? Да нет, что вы, самую малость" (за точность цитаты не ручаюсь). Будем воровать, придумывать ходы, использовать прокси. Одним словом "ломиться на стены". Мы тоже хотим и кушать и делать проекты, да и просто это интересно.

К слову сказать, ко мне поступали неоднократные предложения об установке системы на другие сайты. И не скрою, задумывая проект как эксперимент с поисковыми системами, я не мог не подумать о разработке проекта, готового к "сдаче под ключ" (как никак 12 лет работы в IT научили меня систематическому подходу). И я не вижу никаких причин, чтобы отказать этим людям. И вот тогда побегаем по полю, каковым является Internet. Но тут я умываю руки. Собственно subj :).

Оговорки:

1. Вышеприведенным постом я НЕ ПРЕДЪЯВЛЯЮ никаких претензий компании Яндекс. Они поступили совершенно законно и в соответствии со своей публичной офертой. Не имею никаких претензий или требований/просьб к компании Яндекс или лично к личностям, обладающим собственностью в этой компании.

2. Просьба не воспринимать данный пост как слезливую жалобу и просьба учитывать этот факт в случае желания ответа ни него.

3. Очень бы хотелось чтобы "прочие" компании, не восприняли данный пост как какую-либо для них потенциальную угрозу.

4. Я не преследую никаких корыстных целей, данный проект разрабатывался скорее из научных целей. Если я окажусь не прав и это будет в достаточной мере аргументировано объяснено, могу (но не обязательно сделаю это ;)) признать свою неправоту. Ну закрою этот проект, мало ли чем еще можно занимать в сети, да опять же, на сети свет клином не сошелся :).

5. Всякие прочие оговорки, снимающие с меня всю ответственность за все мои последующие и предыдущие действия (шутка :)).

-= JpS =-
euhenio
На сайте с 21.09.2001
Offline
357
#1

Неужели нельзя было договориться с Яндексом транслировать их баннеры и объявления Директа в рез-тах метапоиска.

Кстати, а какой же это мета поиск, если он только по Яндексу делался?

с ув., Евгений Трофименко seo блог Trofimenko.ru ( http://trofimenko.ru/ ) но ыыы мало обновляется... Tools.Promosite.ru - анализатор апдейтов Яндекса (пожертвуйте лимиты на Яндекс.XML! ( https://searchengines.guru/ru/forum/801888/page7#comment_11942489 )) Konvr.ru - увеличение конверсии сайта на 81% за 4 недели ( http://konvr.ru/ )
JpS
На сайте с 30.10.2002
Offline
102
JpS
#2
Как писал euhenio
Неужели нельзя было договориться с Яндексом транслировать их баннеры и объявления Директа в рез-тах метапоиска.

Кстати, а какой же это мета поиск, если он только по Яндексу делался?

... ой, отнюдь :)

у меня описание подключения отдельного поисковика занимает пять строчек регекспов и сейчас я выполняю запросы к пяти поисковикам и пока не вижу особенного смысла увеличивать их количество, так вот без яндекса их стало 4, именно поэтому приводимая мной статистика уменьшилась всеголишь в два раза. если бы это был _только_ яндекс, то я думаю к сегодняшнему вечеру я бы получил хитов этак 100 :)

Сегодня вечером (в 2:00) сайт будет обсчитан неттракером и я думаю что количество визитов не будет меньше 1К.

А вот насчет "договориться". Вот-вот-вот, именно об этом я и говорю. Но может быть я плохо смотрел на сайте Яндекса, но что-то я не обнаружил там предложений сотрудничества такого рода :).

I
На сайте с 15.12.2000
Offline
80
#3
Как писал JpS
Идя проторенной дорожкой Вячеслава Тихонова неделю-две назад с прискорбием обнаружил что ... анализируя тот факт, что сделаны они одновременно, нельзя не придти к выводу, что не "один только робот" это сделал. Но не в этом суть...

Никакой связи между запрсами к Яндексу и баном из базы нет и быть не может. Банят за "плохой контент, нарушающий логику работы ранжировщика" а не за недостойное поведение в общественных местах наподобие флуда запросов в поисковую систему.

Ваш сайт забанили за то, что вы выложили на сайт гигантское количество результатов поиска. Мы такие вещи банили, баним и будем банить.

Как писал JpS
Как я указывал выше, тематически аудитория изменилась, как мне кажется в лучшую сторону.

Почитав выложенные в статику результаты чужих поисков, я надеюсь, они останутся полностью удовлетворенными?

http://www.[skipped].ru/saved_Sony%2BPlaystation%2Bgames%2Bdownload.html

И такого там "тысячи, тысячи"...

Как писал JpS С момента поста Вячеслава Тихонова прошло чуть больше двух лет, но хочется спросить "А где же воз?". А воз как грится, и ныне в ней, в ж.... Доколе общение метапоисковиков и поисковиков будет похоже скорее на битву в Хельмовой Пади, чем на разумный разговор.

Мы готовим приятный сюрприз для всех метаискателей. Ждите. Немного осталось.

Илья

JpS
На сайте с 30.10.2002
Offline
102
JpS
#4
Как писал iseg
Никакой связи между запрсами к Яндексу и баном из базы нет и быть не может. Банят за "плохой контент, нарушающий логику работы

Я ничего не утверждал, я только попытался проанализировать, т.к. два несвязанных события произошли в одно и то же время - я сделал из этого вышеприведенные выводы, только и всего.

И опять же... оговорка 1 (я не имею никаких претензий :))


И такого там "тысячи, тысячи"...

Я не понимаю, чем вам не понравился приведенный вами url.

Человек искал то, что искал. Я удивлен, почему вы не привели вариант типа "lolita bbs" :)

Я просто выложил в сеть варианты (анонимно!, не нарушая privacy пользователей). Я не нарушил ни чьих авторских прав. Этот же результат доступен на моем сайте в онлайне. Вас волнует что их "тысячи"? Ну я думаю, что у вас люди набирают поиск в гораздо большем количестве. Вы считаете это "спамом". Да, конечно, с точки зрения Яндекса это может быть воспринято как спам. Но это ОБЫКНОВЕННЫЕ страницы. Они доступны на моем сайте. Почему бы их не индексить поисковикам так же как скажем болтовню на каком-нибудь love-чего-нибудь-форум? Не вижу никакой особой разницы, за исключением разве что того, что с моих страниц можно почерпнуть хоть какую-то информацию (ведь согласитесь, если поисковик их индексирует, значит они релеванты и значит там есть какая-нибудь полезная информация). Я вас уверяю (вам остается только поверить или не поверить мне), что я не использовал никаких "запрешенных/нерекомендованных" методов для поднятия рейтинга этих страниц. Я например сам выполняю поиск через свой сервис, набирая фразу, после чего мне остается только подождать некоторое время, а потом нажать Ctrl+F в эксплорере и найти нужное, взамен того чтобы перелопатить кучу поисковиков и посмотрев кучу рекламы и выпадающих окон.

И еще по этому пункту. Если это возможно (я конечно не настаиваю), но не могли бы вы убрать url из вашего поста. Хотя бы хост. Мне бы не хотелось чтобы он был виден. Хотя если вы считаете, что мне есть чего стыдиться.... :)


Мы готовим приятный сюрприз для всех метаискателей. Ждите. Немного осталось.

Илья

вот это самое интересное ;)

в силу неопределенности поста у меня есть два варианта ответа:

1. вах, баюс, баюс... (с) анекдот

2. а вот это действительно интересно, ждемс....

I
На сайте с 15.12.2000
Offline
80
#5
Как писал JpS
Я просто выложил в сеть ...

Никаких возражений. Ради бога. А мы просто решили это не индексировать.

Илья

P.S.

URL уберу.

euhenio
На сайте с 21.09.2001
Offline
357
#6

А чего, спрашивается тогда стыдиться, если все честно? Зачем урл-то убирать? :) Шапка горит? :)

JpS
На сайте с 30.10.2002
Offline
102
JpS
#7
Как писал euhenio
А чего, спрашивается тогда стыдиться, если все честно? Зачем урл-то убирать? :) Шапка горит? :)

повторюсь... отнюдь :)

просто мне не хочется чтобы меня не то чтобы "упрекали", а чтобы даже не "заподозрили" в черном PR.

целью первоначального поста было "просто поговорить" :)

2iseg: у вас хорошее чувство юмора, оценил :)

за url - спасибо.

JpS
На сайте с 30.10.2002
Offline
102
JpS
#8

Как и обещал, сообщаю сегодняшнюю статистику.

По поисковым запросам все вообще стало очень красиво (как мне кажется). Адалт-запросы ушли на вторую страницу.

Вот верх первой страницы.

1. greeting cards 9 (0.6%)

2. реклама шанс 5 (0.3%)

3. klingeltцne 3 (0.2%)

4. free mp3 3 (0.2%)

5. pacbomber crack 3 (0.2%)

6. скачать 3 (0.2%)

7. all 3 (0.2%)

8. keycontacts hack 2 (0.1%)

9. msn hotmail 2 (0.1%)

10. orlando bloom 2 (0.1%)

По визитам... Их стало чуть больше, но это за счет ~сотни заходов с этого форума

Total visits: 1,460

Total pages viewed: 2,475

Total hits: 10,831

И это все при меньшем даже чем вчера объеме трафика

Total megabytes transferred: 192

по возвратам визитеров все не так хорошо

Average visitor repeat rate: 5.6%

Но я склонен думать, что произошло просто резкое обновление аудитории и этот параметр потом вырастет.

По тому что запрашивали.

/ 858 (34.7%)

Даже удивлен, такое резкое увеличение обращения к руту даже наводит на мысли о "выбросе".

/yaf.html 53 (2.1%)

/hstat.html 33 (1.3%)

Ну это и есть запросы с этого форума.

В остальном - все как и вчера.

По Рамблеру.

За счет большего обращения к главной странице в начале ночи даже вылез на первую страницу в разделе :)

В остальном - все по прежнему.

Рискну сделать может быть грубоватое резюме (и приношу извинения на всякий случай):

При всем моем уважении к труду, вложенному в Яндекс, но трафик даже с Апорта (который вроде как считается не самым лучшим поисковиком) и то "почище" будет.

euhenio
На сайте с 21.09.2001
Offline
357
#9

Я, кстати, убранный урл запомнил, и вспомнил, что я на эту байду пару раз натыкался при поиске :) Правильно, туда вас, туда! Нет чтобы головой обработать результаты поиска и оформить так, чтоюб пользу приносили юзеру. На пользу Яндекс клюнет! И не только Яндекс.

Как и обещал, сообщаю сегодняшнюю статистику.
По поисковым запросам все вообще стало очень красиво (как мне кажется).

-хорошая мина при плохой игре?

JpS
На сайте с 30.10.2002
Offline
102
JpS
#10
Как писал euhenio
Я, кстати, убранный урл запомнил, и вспомнил, что я на эту байду пару раз натыкался при поиске :) Правильно, туда вас, туда! Нет чтобы головой обработать результаты поиска и оформить так, чтоюб пользу приносили юзеру. На пользу Яндекс клюнет! И не только Яндекс.

-хорошая мина при плохой игре?

если первый агрумент я еще могу принять. да, с точки зрения дизайна или удобства восприятия может быть еще и есть где поработать, но я программист, а не художник. именно поэтому выдачу результатов сделал по темплейту, который дизайнер изменит за пару часов. я же далал так чтобы это был текст и ТОЛЬКО текст, если вы заметили ссылку "Для печати" то увидите цель, которую я преследовал, создавая метапоисковик. чтобы отношение полезной информации к объему закаченной страницы было максимальным. Сейчас размер скачанной страницы составляет 40-50К и содержит около 100 результатов поиска. Я сижу дома на модеме и лично мне так искать удобнее (как я уже говорил Ctrl+F в браузере). а удобно ли это другим - это не мне и уж не Яндексу решать.

насчет второго аргумента - нет, это не хорошая и не плохая мина. это просто действие, следующее за словами. сказал что сообщу - сообщил. не думаете же вы что я буду теперь здесь ежедневно результаты выкладывать? :)

а игры уже и нет никакой, да и была ли она?

так что я бы это назвал "пофигистичной" рожей при отсутствии игры.

опять же, оговорка 4. я не преследую никаких корыстных целей...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий