Предложение Игорю Ашманову

Да, идея просто супер. Игорь Ашманов, решайтесь! Это была бы очень полезная штука.

Ну вот, началась демократическая фразеология, словесная завеса, подначки типа "слабо стать демократом?". Давайте разберёмся.

Супер-идея - это значит, что Вам лично она очень нравится, правильно я понимаю?

Давайте всё-таки решим - для кого полезная?

Вот Андрей Иванов построил свою демонстрационную страницу, теперь она всплывает в результатах поиска, где надо и не надо. Андрею - хорошо, сообществу этого форума - нравится, знай наших! Цеховой интерес понятен.

А поисковой машине Рамблер это не очень полезно, Яндексу и Апорту - тоже. По крайней мере, сразу этой пользы не видно.

Но ведь и пользователям - тоже не очень. При запросе "расписание электричек" всплывает эта страница. Средний "чайник" (а их 90%) на глаз по заголовку не может определить, что это спам. Щёлкает по ссылке, одуревает, идёт обратно. Время слегка потеряно (на электричку можно опоздать, это не шутка, а реальный случай поиска расписания), уважение к поисковику поколеблено. Так ведь?

Да, создатели сайтов могут делать что хотят, у нас свобода, но мы работаем для пользователей. А пользователям нужно ну хоть какое-то ранжирование по смыслу, а не по степени "образованности" и ловкости вебмастера.

Мы генерируем трафик, поэтому мы нужны и вебмастерам, но в этих отношениях возникают шероховатости. Вебмастер недоволен тем, как его ранжируют, иногда справедливо, нам не нравятся попытки силового решения вопроса, когда вебмастер себя переоценивает или вообще не озабочен справедливостью.

Призывы к этакой демократии и "гласности" могут привести к доминированию хитрых и ловких.

Это пока что напоминает мне анархистские лозунги: государство не нужно, зачем полиция - всем раздать личное оружие, а полицию распустить! Понятно, что страной тогда овладеют самые аморальные и жестокие, умеющие объединяться в банды.

Я совершенно уверен, что если мы опустим наши инструменты релевантности, обеспечим полную гласность запросов, счастья не наступит: любезные Андрею, технически неграмотные, но интеллигентные философы и писатели не смогут противостоять спамерам и по слову "философия" всегда будет всплывать спаммерский сайт. А среди философов-вебмастеров будет преуспевать не самый философичный, а самый технически способный, то есть философ-неудачник или универсальный гений вроде Леонардо Да Винчи.

На самоорганизацию масс пока рассчитывать не приходится.

Разве что они с трудовым долларом в кулаке пойдут за услугами по оптимизации сайтов к знатокам? Это нормально, но тогда знаток и должен купить "сокровенный" статистический отчёт тоже за свои кровные, не так ли?

Поэтому, несмотря на отсутствие претензий лично к Андрею - он играет по правилам, нам придётся придумывать способы идентификации и фильтрации подобных сайтов (тоже в рамках правил).

Представьте себе, что Вы требовали бы непрерывно публиковать способы накрутки рейтинга Тор100. Например, публиковать исходные тексты Тор100, архитектуру софта, машин, сети. А нам нужно показывать истинно популярные сайты, а не сайты всяких ловкачей, Вы согласны?

А Тор100 генерит 300 тысяч кликов в день, это 1-2 миллиона долларов в месяц, если считать по коммерческим ценам за клик! Есть за что бороться ушлым парням. А нам приходится бороться с ними за объективность. Это наши будни, уж поверьте - два модератора непрерывно заняты разбором доносов, подозрительных хитов и так далее.

То же с почтой @rambler.ru. У неё почти 400 тысяч пользователей. В среднем обычных, нормальных людей. Но стоит чуть-чуть зазеваться, ею начинают пользоваться спаммеры, похабники и шантажисты. Да-да, шантажисты - пишут угрожающие письма кому-то, представьте себе, к нам идут жалобы, просьбы вычислить злодея. Или ругают собственное начальство с помощью @rambler.ru, а оно просит IP-адрес. Мы не даём, но сносим ящик. И так далее.

Здесь также невозможно иметь полностью "демократический", открытый сервис.

На что же мне решаться? Что за пряник вы предлагаете? Быть лидером гласности?

Пока не убеждает. Я же в президенты не баллотируюсь.

Что изменится в лучшую сторону для пользователей Рамблера (а к нам за месяц заходит 2,5 миллиона - 70-80% от всего Рунета), если мы выставим статистику? дайте аргументы.

Андрей спросил меня, что мы хотим за статистику? Я не знаю, что вы можете. Делайте ваши предложения.

Игорь Ашманов.

И при этом, все присутствующие на этом форуме понимают, что эта супер-идея (хотя конечно интересная! ) будет использоваться прежде всего спамерами. Примеров сколько угодно: вот в соседнем топике привели пример "хитрого" способа раскрутки target.by.ru - нахально? Да! Но ведь это случай не первый, Андрей Иванов уже писал в своей рассылке, что списки запросов нередко нахально передирают.

И будут продолжать передирать... В результате, замусоренность результатов поисковиков только повысится. Тогда уж лучше что-то вроде сверхрасширенного НИИИ Яндекса. Под сверхрасширенным, я понимаю что будет даваться не малосодержательная строка, а более полное описание по широкому спектру тем, например:

"Интернет-сервисы. Особенный интерес вызывают следующие темы: .... и перечень тем, довольно подробный" - это не конкретные запросы, но с другой стороны будет понятно чем народ интересуется. Но тут уже сложность для Рамблера - нужен аналитический отдельчик для создания подобного Хотя такие рассылки пользовались бы популярностью.

[This message has been edited by Green Kakadu (edited 18-02-2001).]

[This message has been edited by Green Kakadu (edited 18-02-2001).]

Ну, в-общем, все доводы "за" и "против" довольно предсказуемы. Действительно, такая статистика у нас будет использоваться спаммерами. С другой стороны, меня в такой базе больше бы интересовали конкретные формулировки запросов. Предсказать, по какому слову будет вестись поиск, довольно сложно - я и не думал никогда, что этот форум будут находить по слову "yahoo"! Поправка: я не думал, что вообще по такому слову можно вести поиск. Как, впрочем, и по слову "Рамблер".

Опять-таки, Игорь, русским поисковым машинам не миновать той стадии, в которой сейчас находятся основные западные системы. Т.е., ясно, что в ближайшие пару лет будут процветать попытки спама в поисковики, независимо от того, доступен список самых популярных запросов или нет.

Игорь, я полностью согласен с Вами. Но я также поддерживаю мнение Андрея (а не его вариант реализации идеи). Как это может быть? Очень просто.

1. Я уже писал, что веб-мастеров (в отличие от спамеров) не сильно интересуют абсолютные значения частот запросов. Самая важная информация -- относительные значения в тематической группе запросов. Для Рамблера с появлением механизма "тематической" перевязки, как я понимаю, составление таких списков не является проблемой.

Например, если одна из моих страниц содержит афоризмы и каламбуры, я хотел бы знать, по какому из слов ее позиционировать: "афоризмы", "крылатые выражения", "фразы", "каламбуры" или что-то еще. Я не стану продвигать страницу под словом "порно" или "секс" -- зачем? -- но делать по всем релевантным словам отдельные страницы невыгодно ни мне (трата времени), ни поисковику (засорение базы).

Делать же по случайному слову означает игнорировать мнение пользователей -- они будут искать "каламбуры" и не находить их, так как те спозиционированы как "афоризмы". Тот же эффект наблюдается, если не проводить позиционирования вообще: как вы думаете, часто можно встретить афоризм, который содержит слово "афоризм"? И как робот узнает о том, что это афоризм? Вот и находят поисковики статьи про афоризмы вместо самих афоризмов.

2. Спамеров интересует, как правило, самая актуальная информация, потому что только из нее можно выжать максимум посещений. Сезонные колебания (рефераты, отпуска), катастрофы, политика -- все это дает большие всплески посещаемости. Обычным веб-мастерам не столь важно, сделаны запросы месяц назад или вчера -- психология людей, выбирающих вместо "вакансии работа" фразу "работа вакансии", меняется очень медленно. Только рост рунета и появление армии чайников способны существенно изменить статистику запросов. Но если обновлять их раз в 1-2 месяца, никаких проблем не будет.

С уважением,

Александр Садовский.

Большое спасибо Игорю за подробный ответ. Я знал, что делаю, формулируя тему в виде "не слабо ли, мол, Рамблеру", но первой задачей было именно вызвать на диалог, чтобы прояснить мнения. В принципе, форум для этого и предназначен.

И Грин, и Игорь высказались четко: любая технология, сервис, идея, которая может быть использована спамерами и плагиаторами, будет использована. Причем использована очень быстро. Я переписывался с некоторыми ребятами, которых можно отнести к данной категории вебмастеров - люди вполне нормальные и прекрасно соображающие, просто они не озабочены тем, что Игорь называет "заботой о пользователе", так как заботятся прежде всего о себе. Игорь даже описал ситуацию объединения в группы аморальных личностей. Абсолютно верно.

Но почему в группы не могут объединяться "моральные личности"? Та же Америка начиналась не с лучших представителей человечества, а оружие там всегда продавалось совершенно свободно. И банды там есть. Но государство все же оказалось способным поддерживать баланс и разделять сообщества. Поисковая система по количеству пользователей с самыми разными интересами, относящимися к сфере ее деятельности - то же государство, аналогия самая прямая. И сегодня происходит становление этого государства, с идеологией, лояльными гражданами и преступниками, законодательством и т.п.

Нормальному вебмастеру нужны правила игры и реальные законные механизмы достижения цели. Если вебмастер знает совокупность поисковых запросов, на которые его сайт дает нормальные ответы и полезен пользователям, то что он должен сделать, чтобы ссылки находились на хороших позициях? Интересы вебмастера и поисковой системы в этом случае абсолютно совпадают. Но поисковая система не дает ответа. Тем самым не поддерживает своих же союзников. Вебмастера (минимум, 80%), видя, каковы позиции их сайтов благодаря сегодняшним алгоритмам релевантности, начинают искать способы продвижения и сталкиваются с очень интересной картиной: вся литература по этому вопросу переведена лет семь назад с английского, крайне противоречива, нет никаких реальных методов позиционирования, а поисковые системы хранят глубокое молчание. Тем самым просто подталкивают к "изысканию возможностей", которые потом трактуют как спам. И из вполне нормальных людей делают импотентов. Таким образом, спам порожден самими же поисковиками: возможность дали, альтернативы не предложили, четкой границы не провели, соблазн велик, а ответственности никакой. И сами же теперь теряют деньги на борьбе с ним.

Создание информационного сервиса по анализу поискового спроса - это только первый шаг. Сразу же на его базе можно и нужно организовывать рекламный сервис, где пользователям не только будут предлагаться информация о запросах, но и ответы на них. Таким образом каждый вебмастер сможет не только оценить размеры поискового спроса на любую тематику, но и объем и качество предложения.

Даст это две вещи. Организатору "процесса" - деньги, подобной рекламы еще вообще в интернете нет. Это одна часть ответа на вопрос Игоря, "что можете предложить". Самой Сети - резкое увеличение информационной насыщенности. Кому захочется лезть в области, где информации и так уже достаточно? А вот выявление сферы, где есть устойчивый спрос, но практически нет предложения - это незанятая ниша. Сегодня пользователи поисковой системы, интересующиеся информацией в этой нише, получают облом. Завтра - получат качественные ответы. Т.е. та же любимая всеми поисковиками "забота о пользователях" и релевантности ссылок. Это вторая часть ответа.

Техника борьбы со спамерами в такой системе описана в "Априорно законном кидалове" (http://hisnameis.runet.ru/newsite/p_147.htm). Прошу прощения за ссылку на свой же сайт, но там довольно много, не сюда же переписывать.

Андрей Иванов.

[This message has been edited by andre (edited 18-02-2001).]

Мне кажется, мы, т.е. вебмастера, несколько забываем о целях поисковых машин. Они же созданы вовсе не для раскрутки, не для привлечения посетителей, они этим являются постольку-поскольку. Т.е. этой мутной фразой я хочу сказать вот что: вообще-то, поисковики созданы для того чтоб искать и находить, а нужды вебмастеров их должны мало касаться (вернее никак не касаться)... Генераторы трафика, явные, рожденные именно для этой цели - это рейтинги (разве нет?) Я говорю не о эффективности их как средств "раскрутки", а о задачах, поставленных перед этими системами. Мы, т.е. те которые хотят привлечь к себе посетителей, ни с того, ни с сего решили, что поисковые системы должны проявить какую-то заботу по отношению к "творцам сети", а в честь чего? Мне кажется, что все поисковые системы были бы только рады, если бы все вебмастера не думали о "релевантнгости своих сайтов", о положении на запросы и т.д. Мы только палки в колеса вставляем.... Разве не так? Задумайтесь над такой постановкой вопроса. Я ни к какому поисковику отношения не имею, даже рад бы с них поиметь посетителей, но вот решил взглянуть на проблему иначе... А если так рассуждать, то все наши стремления узнать точные (именно точные!) формулировки запросов, это проявление нашего желания поспамить. Ведь спам, это не только все ненужное и не в тему. Мы тоже поспамимм, но по-маленькому: титул, фразочка в контексте, в alt'e формулировочка запроса... но ведь это тоже спам?

А зачем люди спрашивают yahoo.com я до сих пор не пойму. Лидер запросов, особенно в англоязычных топах (в топ 500 он на 200-100 позиции!)

Green, я с тобой не согласен. Поисковые системы заинтересованы в том, чтобы их пользователи находили релевантные страницы и уходили довольные результатами поиска. Вебмастеры заинтересованы в том, чтобы по запросам поисковые системы находили их страницы, для этого им надо уметь составлять страницы так, чтобы они считались релевантными. Здесь и сходятся интересы одних и других.

Интересное письмо, Грин! Поисковые системы как юридические лица созданы для зарабатывания денег. Чем они сегодня и пытаются заниматься, используя свою посещаемость для организации и раскрутки портальных проектов с целью увеличения количества рекламных площадей. Совершенствование поиска уже как-то побоку, если даже форум по проблематике поиска создан и работает отдельно от них, спасибо Грею.

Абсолютно верно, что любые действия с сайтом, которые не рассчитаны на восприятие посетителем, а поисковым роботом - это спамдексинг по духу. Только термин этому дали сами поисковые системы, на самом деле это естественное желание любого вебмастера быть первым. Используются те методы, которые позволяет ситуация. Если бы поисковый трафик каким-то образом зависел от дизайна страниц - весь Рунет очень быстро превратился бы во что-то вроде выставки лучших образцов веб-дизайна.

А пока... вот цитата из письма одного из моих знакомых: "...Кстати мне удалось взломать Вордтрэкер (западный аналог с базой в 45 миллионов запросов) и теперь я пложу дорвеи тысячами и десятками тысяч. Пара заказных прог плюс Позишенвивер плюс Вордтрекер - это артиллерия очень крупного калибра...". Судя по виртуозному обращению с программами, он мастер. А Positionweawer делал Дэвид Гиканди, который и писал статью о спамдексинге, где говорится о том, что такое спам поисковых систем и почему это бяка. Как видим, борец против спама пишет проги для махрового спама, а занимаются этим делом вполне квалифицированные профессионалы, а не моральные и умственные ублюдки. Все как в жизни, на любую проблему можно и нужно смотреть с разных сторон.

Если смотреть на общее предназначение поисковых систем, то необходимы некоторые уточнения. Раньше поисковой системой назывался сервис, который составлял индексы сайтов Сети при помощи робота и предлагал посетителям поиск по индексам. Отдельно существовали тематические каталоги. Сегодня практически все индексаторы с каталогами слились и предлагают... как бы выразиться "навигационный сервис". Т.е. поисковик - это уже не только индексатор, а сам поиск можно рассматривать не только как поиск в индексах, а как поиск информации человеком при помощи доступнымх ему навигационных инструментов, сайтов.

В этом разрезе четко выделяются идеи цитатного поиска, это как раз то, на чем основаны индексаторы, и тематического - пути по каталогам. Но совершенно неразвита еще идея поиска смыслового, когда ответ не содержит слов запроса, а сам запрос может быть понят в разных смыслах. Решать эту проблему можно по-разному. Можно пытаться алгоритмически, но для окончательного решения придется создать фактически "мыслящую машину", японцы над этим уже лет двадцать думают, программа финансируется государством и очень неслабо, но пока ничего не придумали толком. Можно так, как это пытаются сейчас делать поисковики, при помощи ручного администрирования, но они катастрофически не успевают, ежедневно в Сеть несколько миллионов документов добавляется. И можно попытаться решить организацией социальной модели, когда поисковик (в большом смысле поисковик) устанавливает правила игры, практически все работает автоматически, а социум, в котором каждый действует исключительно в своих интересах, самостоятельно выстраивает и самоорганизует систему иерархии знаний и действующих лиц. Это как раз идея Нейрона, которую я толкаю уже второй год.

Люди, вводя запрос, yahoo.com, скорее всего, хотят получить сводную информацию о Яхе. В Рунете та же картина, я долго удивлялся, видя в "Прямом Эфире" Яндекса постоянно повторяющийся запрос www.yandex.ru. То же с mail.ru и всеми заметными сайтами. Это как раз простейший пример необходимости смыслового решения поиска.

А если бы никто не старался повлиять на релевантность страниц, то мусора и конкуренции было бы меньше, и поиск был бы действительно адекватным. Другое дело, что это утопический идеализм, я понимаю это