Это я к тому, что сейчас сюда придут анонимные товарищи из Е-Хауза и поднимется такое (!) :), что модерировать Вы устанете.
с уважением,
Илья
2 GRAY
Мне кажется весь этот флейм должен переехать в другой раздел форума. Типа "Всякое Разное". Это про Пейкеш и Е-Хауз а не про поисковые системы.
пара строчек (о-п-с - получилось больше чем я думал :)).
1. Яндекс решил промоутить ПейКеш, в т.ч. для того, чтобы открыть свои собственные новые сервисы, связанные с очень малыми транзакциями. ВебМани для этого не годятся (так говорят, я сам не большой специалист). Виза тоже. Безотносительно качества ПейКеша или других подобных систем, шаг естественный и не направленный ни против кого лично.
2. Е-Хауз, испугавшись возникшей (по его мнению) аффилированности ПейКеша и Озона, сделал демонстративный жест по выходу из ПейКеша. И объявил об этом во всех СМИ.
3. Яндекс (в лице Аркадия) в ответ на этот демарш заметил, что выход из открытой платежной системы - не очень умный шаг, и уподобил его добровольному выходу из открытой поисковой системы.
4. Заметьте, что Яндекс индексировал, индексирует и будет индексировать сайты Е-Хауза, даже несмотря на то, что тот держит на себя www.jandex.ru с редиректом на www.megashop.ru, или раскидывает по сети вирусы, прописывающие домашнюю страницу (среди пострадавших, например, два зам. директора Яндекса).
Причина одна: у Яндекса есть определенная позиция об открытости своего индекса (см. лицензию). Порно-сайты, сайты ненависти, сайты заражающие вирусами, www.kavkaz.org - все это _не имеет значения_.
Поисковая система должна находить все. Как зеркало. Такой принцип, понимаешь. :)
"Мы несем ответственность за качество поиска, но не за качество искомого материала". ((c) iseg :))
Эта область в юридическом смысле весьма нова и требует осмысления, но пока мы твердо убеждены в своей правоте.
5. Конечно же Яндексу небезразлично отношение вебмастеров. Конечно же нам не все равно. В том числе и Аркадию. Это же был ответ на явный демарш, неужели непонятно? Такие вещи надо ведь читать в контексте.
С уважением,
Ниже я приведу выдержки из переписки Яндекса с Агавой (только те части, которые касаются понимания, принципов и т.п. т.е. представляют значительный интерес для участников этой дискуссии и не несут никаких личных или дискредитирующих кого бы то ни было моментов) . Надеюсь, что ни Агава, ни Дмитрий Тейблюм не не будут на меня в обиде за эту публикацию. Я считаю, что вопросы которые поднимала Агава и точные (на мой взгляд) формулировки в ответах Дмитрия, будут очень интересны всем. Заранее прошу прощения.
Ответ Яндекса (Дмитрий Тейблюм):
Я, кажется, вообще не употреблял слово "накрутчик". Такой
термин (как и, кажется, упомянутый Вами ранее термин "правила игры")
подразумевает, что речь идет о каком-то соревновании. Например, есть
соревнования по бегу на 100м. Там действительно есть всякие правила, вроде того, что нельзя употреблять допинг, и есть накрутчики - нарушители этих правил. Яндексе же подобных соревнований (как-то "кто попадет на первое место по такому-то запросу") не проводит, яндекс занимается поиском. Поэтому ни о каких накрутках и правилах игры речи не идет. Если даже кто-то с кем-то участвует в подобных соревнованиях, это его собственные, а не наши, проблемы.
Публикуя http://www.yandex.ru/info/webmaster3.html, мы не имели в виду
заключать сделки типа "вебмастер соблюдает эти инструкции, за это Яндекс посылаетему трафик". Это было бы очень странной сделкой. Также мы не имели в виду устраивать конкурс на лучшее соблюдение этих советов, и награждать победителя трафиком. Это, опять же, был бы очень странный конкурс. webmaster3.html - это, скорее, информация о работе Яндекса, чтобы люди меньше удивлялись результатам поиска.
Как я уже писал, яндекс занимается поиском. Для этого поисковая система анализирует "всемирную паутину" (WWW), а потом использует эту
информацию. Основная идея тут - то, что WWW сделан для использования
людьми. То есть тексты написаны для того и только для того, чтобы люди их читали, ссылки стоят для того, чтобы люди на них нажимали, картинки нарисованы для того, чтобы люди на них смотрели, и т.д. (Кстати, при этом владельцы сайтов имеют полную возможность сообщить поисковой системе свое мнение о том, как их сайты следует находить. Для этого предназначены META-тэги, в особенности META KEYWORDS. Поисковые системы учитывают эту информацию так, как считают нужным. Некоторые не учитывают вообще, потому что не считают это нужным, а Яндекс как-то учитывает.) Части WWW, сделанные не для людей, (а, например, для того, чтобы внести в поисковую систему перекосы в личных целях) поиску не интересны, и могут быть проигнорированы без ущерба для поискового результата. (У нас есть и какие-то автоматические алгоритмы, пытающиеся обнарудить попытки вмешательства в нашу работу, и некоторая ручная работа, действительно, остается).
Так, например, сейчас все ссылки с многих сайтов Агавы игнорируются,
поскольку мы знаем, что они сделаны не для людей. Ничего, у нас есть много других ссылок.
{От себя (iseg) добавлю: Мы никогда и нигде не перечисляли и не обещали перечислить исчерпывающий список "запрещенных приемов". См. лицензию.}
Знаете, я смотрел на ваши сайты недели полторы назад и хорошо помню, что я там видел. Я надеюсь, Вы и сами это помните или можете узнать от Ваших сотрудников. Сейчас это выглядит поприличней, конечно, но у меня нет совершенно никаких поводов считать, что назначение этих ссылок поменялось.
Очень интересно, как это следует из моих писем, поскольку я никоим образом не имел ничего подобного в виду. Да, мне сильно не нравится, что кто-то посторонний пытается вмешиваться в работу программ www.yandex.ru. Что касается качества поиска, то могут быть разные мнения по поводу того, как его достигать. Даже не исключаю, что определенный учет пожеланий владельцев сайтов может улучшить качество поиска. Это, однако, совершенно отдельный вопрос. Есть много способов получить это мнение непосредственно, например через тот же META KEYWORDS. Или можно представить какой-то веб-интерфейс, в который веб-мастера будут что-то вводить (в свое время Андрей Иванов носился с подобными идеями, многие о них слышали, и в этих идеях есть своя логика). Короче, когда и если мы решим что-то такое сделать, мы это сделаем. Умение использовать webmaster3.html или его аналогов как какого-то тайного знания вряд ли является хорошим критерием для поиска.
Это бессмысленное утверждение, я уже об этом подробно писал. Еще раз
вкраце: Яндекс ни явно, ни неявно не заключает договоров типа "вебмастер соблюдает такие-то правила, Яндекс находит сайт вебмастера по таким-то запросам". В этом отношении Яндекс отличается от, допустим, Rambler Top100 и аналогичных счетчиков.
"Все без исключения" - очевидное передергивание. Если бы Вы сказали
"подавляющее большинство", в это можно было бы еще поверить.
(Вообще же подобные желания свойственны в первую очередь тем сайтам,
которые что-то продают. Между тем только около 30% запросов являются
поисками покупки или чем-то аналогичным. Поэтому хорошая поисковая система не должна показывать в первых рядах только такие, специально оптимизированные, сайты.)
Кроме того, вы "оптимизируете" не только свои сайты, но и сайты ваших
клиентов. Этим занимаются уже далеко не все владельцы сайтов.
Я уже писал, что это не имеет никакого отношения к делу. По хорошему,
чтобы делать подобные утверждения, надо измерить качество поиска до и
после ваших действий. Я этого не делал, Вы, я думаю, тоже. Однако я думаю, что ваши действия не только не ухудшают, но и не улучшают качество поиска Яндекса. Поэтому нейтрализация ваших действий тоже не ухудшает качество поиска. Однако, повторю еще раз, это не имеет отношения к делу.
О каком "исключении из результатов
поиска" можно говорить, если, например, по запросу "работа" (очень
популярному запросу) ваш сайт joblist.ru находится первым? Просто
несерьезный разговор. Если бы мы хотели исключить ваши сайты из
результатов поиска, мы бы это сделали (см. мой ответ на пункт 1).
На текущий момент игнорируются только ссылки _с_ ваших сайтов, что по идее вообще не должно отразиться на их ранжировании, только на ранживорание тех сайтов, на которые вы ссылаетесь. Это сделано потому, что у нас есть все основания полагать, что эти ссылки предназначены главным образом для повышения релевантности в поисковых системах. В качестве побочного эффекта игнорируются ссылки между вашими сайтами, что могло затронуть их ранжирование, но тут все нормально: по большому счету, нам интересны только ссылки между неаффилированными сайтами, и ссылки между вашими сайтами учитывались только потому, что у нас не внедрены алгоритмы, позволяющие обнаружить аффилированность joblist.ru и agava.ru, например.
Прочие ссылки _на_ ваши сайты сейчас по прежнему учитываются.
На всякий случай еще раз обращаю Ваше внимание на то, что у нас нет
никаких обязательств находить ваши сайты или сайты ваших партнеров, ни на первых местах ни вообще. Нет у нас и обязательств комментировать работу нашего поискового механизма.
У вас неверная информация, Gray
1. Голый PageRank никогда никто не применял. "Бес кроется в деталях",
я это уже писал. Учтите, что сайты проиндексированы неравномерно,
что линки на форумах и гестбуках легко ставить и вы поймете о чем
я говорю.
2. Мы не меняли алгоритм. Прото внесли ряд сайтов в "непот-лист".
Это стандартная процедура
3. Санкции не были направлены против проектов Агавы. Только против
накрученных ими "партнеров".
Gray, вы ошибаетесь. Модификация расчета PageRank включает несколько приемов (разное начальное значение, разное d, исключение из итераций и т.д.) и все (?) их Google конечно же использует. Иначе у него мусор в выдаче будет.
Это обман. Невидимая ссылка не может иметь смысловой нагрузки.
Первый раз прочитал все страницы до конца.
Очень был занят. Все ребята (Маслов, Тейблюм, Ильинский)
в отпуске. Простите покорно еще раз.
Ситуация действительно нештатная. Но не технически, а из-за резонанса.
Позиция есть и она не менялась.
Честно говоря, не согласен. Не вижу ничего нецивилизованного
ни в дискуссиях здесь, ни на веб-планете. Лена вполне внятно написала. Надеюсь мой ответ снимет оставшиеся непонятные моменты.
В Яндексе есть спам и непот-фильтры и всегда были.
Ручная работа тоже всегда использовалалсь.
(каталог, напр.)
Чего нет, и не было, так это продажи (путем фиксации
места по ключевым словам и т.п. как делал Альтависта в 1999-2000)
мест в выдаче. Именно это я называю манипулированием.
Это связанные вещи.
Вот-вот. Спасибо :)
Никто, кроме руководства компании, меня лично и т.д.
Я (Лена Колмановская, Дмитрий Тейблюм, Аркадий Волож,
Миша Маслов и т.д.) сами этого не делали, не делаем
и не собираемся делать. И никогда об этом не слышали.
И надеемся не услышать.
Но вообще-то, вы правы, все мы люди, черт его знает что
может случиться. 100% гарантию дает только сами знаете кто...
По угрозой расстрела я, скажем, точно соглашусь забанить кого-нибудь.
А так ... "нэт".
Да ладно, чего там неудобного-то :)
Это, на мой взгляд, передергивание. Я подробно писал выше.
Все в отпуске. А я загружен по уши. Вот сегодня вырвал день.
Надеюсь, я ответил. Старался как мог.
Согласен, не очень красиво получилось. Но и ставить скрытые ссылки с последний цифры
года тоже не есть "very nice"
Спасибо за совет. Мы сами (в том числе и с учетом переговоров с Агавой)
решим, что и как будем делать.
Объяснялось выше, что понимается под манипулирванием.
Следует различать "непот-лист" для сайтов бесплатных
хостингов, веб-бордов и пр. "партнерских программ" vs.
"продажа места в первой десятке по ключевому слову".
Первое - было, есть и будет. Второго нет, не было и не будет.
... "мы не приводим исчерпывающий список" ... :)
Их нельзя сформулировать. Я уже писал подробно где-то
на этом сайте почему. Это юридическая и логическая проблема.
Поищите пример с велосипедом, раздавленной курицей и
степенью вины, устанавливаемой _неформально_ и только в суде.
Да-да. Вот и я добавил.
Это нужно всем. Глобальная мировая проблема, понимаешь.
Читайте труды конференций. :)
Вот-вот. :)
Это наши внутренние правила. Они помогают нам поддерживать наш сервис.
За советы спасибо, но принимать их голосованием мы не собираемся.
Это неправда. Причина была другой.
Совершенно верно. Также как и наша реакция на накрутку. Она тоже
входит в игру и тоже происходит по правилам.
Еще раз. Никто саму Агаву не банил. Исключению подверглись ссылки с Агавы.
Причем тут торговля, я не очень понимаю.
Нет никакого замалчивания. Есть срочная работа (пишу документацию на английском, в запарке уже три недели). :(
Это преувеличение. Я уже несколько дней сравниваю
популярные запросу у нас, на Гугле, на Рамблере и Апорте.
У меня не складывается такое ощущение.
Мы запрещаем нечестную, скрытую рекламу. К сожалению, она действительно
эффективна. Именно в силу своей скрытости.
Правило номер 1 нашего и многих других поисковиков.
Editorial listing не продается. Там не должно быть ничего за деньги.
Мы (можно сказать, руками, то есть вымученными нашим потом алгоритмами и редакторскими усилиями)
создаем этот листинг - то есть отвечаем на ваш вопрос. Реклама разрешена только в
специальной секции.
Несправедливое замечание, Gray. Деньги зарабатывать трудно, это правда.
Но мы не собираемся продавать выдачу в любом случае.
Это слишком категоричное утверждение. Макдональдс за последние три года,
проявил гуманность к коровам, заменил целлофан на бумагу,
и сделал еще чего-то существенное (не помню), крайне невыгодное для себя в смысле денег.
Ручной бан есть во многих западных поисковиках. Это я знаю совершенно точно.
Про Гугль не уверен, надо сходить почитать на форумы. Но судя по их
лицензии он там тоже есть. Что касается "бана", как реакции на донос,
согласен, получилось не очень красиво. Но по-моему, это просто совпало
по времени.
Кстати, если задуматься, именно поэтому ни на одном западном поисковике нет форумов с разработчиками. И вы найдете там сайта, где
Криша или Моника отвечают на письма оптимизаторов.
Точно. Вы затронули фундаметальные вопросы бытия. И сермяжную
разницу между "релевантностью" и "пертинентностью". Браво!
Верно, для это есть магазины, доски объявлений и т.д.
Поисковик же выполняет свою работу, а транзакционные запросы
(=Search for online goods&services) не превышают в нем 25-30 процентов. Как и положено.
Это неправда. По-моему Gray решил обидеться на Яндекс, раз такую неправду
говорит.
Яндекс банил не за _платность_ услуг. Он бролся за качество
выдачи и против насильственного вторжения в свою детельность.
Безусловно эта опасность существует. Мы это понимаем.
Еще раз повторюсь, ссылки с Агавы банились не "за первое"
или какое-то там ни было место. См. выше (и часть 1).
Многие статистические алгоритмы непосредственно затаргивают языковые феномены упомянутые вами. При большем эффетивности и качестве чем детерминированные "лингвистические" алгоритмы. Не знаю, в курсе ли вы, но лучший переводчики сейчас работют через "тупой" translation memory".
Касательно синонимов почитайте, например, что получалось, когда самые лучшие тезаурусы применялись в поисковых системах "в лоб".
Ручная работа (включение в каталоги, текст описания в каталогах,
категоризация по темам и фасетам в каталогах, фильтры на включаемые (напр. внешние,западные) сайты, порнофильтры, спам-фильтры, непот-фильтры, фильтры мусора, карты зеркал) использовалась, используется и будет использовться во _всех без исключения_ поисковых системах. Однако это _не неизбежно_ ведет к коррупции поисковых систем.
Я утверждаю, что Яндекс пока (тьфу-тьфу) не коррумпирован. Не верите, ваше право, ради бога.
Трехлетний всемирный эксперимент показал, что не очень хорошая метрика. Поэтому-то DirectHit и разорился (или на грани :()
По инерции они у нас считаются. Может быть еще придумаем
как их улучшить. Однако сомнительного там ничего нет.
Хоть формула и простая, зато пользователи "не демонстрируют
высокое качество отбора" - все очень логично.
Мы никогда не использовали закладки в основном поиске.
Поэкспериментровали, посмотрели, что там мусорка, и плюнули.
"Непот"-фильтры для ссылочного ранжирования существуют давно (больше года).
Используются фасеты каталога ("анонимный". "общение" и т.п.)
и ручные списки. На ранк самого сайта они по идее не влияют.
"Фильтрации" подверглась _не_ Агава, а ее ссылки. Это рутинный процесс.
Ничего специального мы не делали. По запросу joblist - Агава на первом месте.
Возможно, действительно сообщения Михалиа в форуме были излишне
эмоциональны и конфронтационны. Приносим извинения.
Сама же фильтрация - это наше внутреннее дело. Мы "не предуведомляем"
и т.д. См. "лицензию".
Почитайте про Latent Semantic Indexing или Term Vector Database.
Возможности (технические) в принципе есть. Думаю, что рано или поздно
такие вещи будут использоваться. Частично они уже используются сейчас.
Это наш бред и наши правила. Мы не устраиваем публичного забега
веб-мастеров по соблюдению наших правил. И не предлагаем
веб-мастерам их обсуждать. У нас есть автоматическое ражирование
и ручная фильтрация. И так работают все поисковые системы.
Прошу прощения за длительное молчание. Во время конфликта был в отпуске. После чего было срочная работа.
Я постарраюсь прокомментировать все письма, которые успел прочитать,
понять и которым хочу возразить или прокомментировать. Прошу прощения если пропустил что-то важное. Все сообщение слишком длинное, поэтому оно разбито на три части.
Итак:
Яндекс не интересует обман пользователей. Нам важно, чтобы _нас_ не обманывали.
А именно это, если я не ошибаюсь, имело место быть.
Потому что ссылки были скрыты от пользователй и предназначались исключительно для роботов.
Это неправда. Точнее не вся правда. Дискуссию на эту тему велись неоднократно,
позвольте мне не развивать эту тему.
Качественная выдача - единственный способ поднять доход. Здесь нет противоречия.
Ручной корректировки Яндекс не делает. Возможно выдача не идеальна,
но она такая, какая есть. Такой случился здесь расклад.
Вообще, у многих странное впечатление о работе поисковых систем.
Ведь в день (напр. Яндекс) отрабатывает до 2 с половиной запрсов на первую
страницу поиска - мы просто физически не в состоянии контролировать
качество всех запросов.
Это нормальная ситуация. Вы оптимизируете, мы деоптимизируем.
Победы случаются у каждого.
Согласен. Миша Маслов напрасно в сердцах на форуме про это написал.
Действительно, такие вещи не стоит акцентировать.
Меньше 5 процентов оптимизировано. По моим оценкам. И процент
_не_ растет. Вы просто все смотрите на 100 самых популярных запросов.
А основной вес (по закону Ципфа :)) лежит в хвосте.
Зайдите на dzen.yandex.ru - и полистайте.
Совершенно согласен с Александром. Для популярных
запросов сейчас выделился специальный четвертый класс и на следующем
TREC-е (в Ноябре) будет соревнование именно на эту тему.
("TOPIC DISTILLATION TASK")
Подробнее:
http://groups.yahoo.com/group/webir/message/876
http://groups.yahoo.com/group/webir/message/899
http://groups.yahoo.com/group/webir/message/911
http://groups.yahoo.com/group/webir/message/916
Это неправда. Обратите внимание на секцию:
Поискать ... в регионе:
Поискать ... в рубрике:
Запрос "загранпаспорт" не специфичен. Неясно что именно интересует человека.
Логично предположить, что распределение интересов _внутри этого запроса_
совпадает с распределением интересов по двух-трех-словным запросам, содержащим это
слово. Так что Александр Садовский совершенно прав.
У Гугля именно так часто и происходит. За это, наверное, их и любят
20% русской аудитории. Конечно же тут есть опасность перегиба.
Но пока она явно Яндексу не грозит.
Ну запретите вы роботу яндекса (альтависты, апорта, далее по алфавиту ...) вас индексировать. Ну опубликает это какой-нибудь интернет-листок. Люди, прочитавшие это издание, узнают о вашей нелюбви к яндексу (альтависте, апорту ...). Вы автоматически потеряете часть трафика. С учетом ссылочного ранжирования вас, кстати, все равно будут находить.
Но в чем ваша грусть-то? Вы грустите оттого, что Яндекс, в лице Воложа, не заплачет по вашему уходу? В том, что никого кроме вас, ваши недружественные демарши не огорчат?
Очень сложная эмоциональная цепочка. Мне такие тонкости точно недоступны.
А самое-то главное: зачем? Зачем вам может понадобиться таким странным образом выражать отношение к той или иной поисковой системе?
