Vyacheslav Tikhonov

Рейтинг
130
Регистрация
27.01.2001
Должность
Developer
Интересы
search engines, bots, information retrieval, data mining
Master's Degree in Computer Science

А как будет обстоять дело с постоянным саппортом программы?
Нужно размещать update на сервере программы и при запуске проверять его наличие.

Никаких проблем. В топике, который открывает данную тему, я уже писал о том, что могу бесплатно поддерживать анализатор в течение года. В том числе, и регулярно обновлять шаблоны поисковых систем.

на самом деле интересна связка такой программы с некой системой/анализатором документов ;-)) Aik поможет?

Подобный анализатор документов я уже писал более года назад, но, к сожалению, он остался у Пинга. Но я пошел дальше AIK'a - кроме статистического анализа, моя программа поддерживала простенький морфологический анализ на основе стемминга и позволяла находить в текстах документов целые словосочения из 2-х, 3-х и более слов. В принципе, если нужно, не сложно сделать новый такой анализатор и встроить его в систему. Более того, можно даже использовать более серьезную словарную морфологию.

Таким образом, в простейшем варианте связка может выглядеть так:

1. Анализатор позиции сайтов извлекает из поисковой системы позицию каждого найденного сайта.

2. Найденные в поисковике страницы выкачиваются и передаются для анализа анализатору документов.

3. Анализатор документов проводит статистический анализ и выделяет словосочетания.

4. Формируется отчет для пользователя системы.

Ваши предложения?

А спрос на программу, как мне кажется, намного больше 8 клиентов, которые использовали анализатор позиций. Но для этого программа должна быть конечным продуктом и под виндами. Понятно, что учитывая массовость рынка, цена должна быть не $350, а, скажем, $50. Но зато, на мой взгляд, это даст не только сравнимые доходы (они могли бы быть заметно больше, если бы не пиратство), но и хорошую известность, и базу клиентов, то есть возможность продавать будущие продукты с гораздо меньшими затратами. Мне кажется, овчинка стоит выделки.

Попробую обосновать, почему цена именно такая.

Вы рассуждаете абсолютно правильно и прямо как по "Экономиксу". :) Теоретически все правильно, можно сделать цену доступной и за счет этого массовым продукт, в этом случае объемы продаж возрастут и прибыли увеличатся за счет большего оборота.

И это работает, причем наиболее яркий пример - сам Билл Гейтс. Когда он предложил IBM продавать MS-DOS, имевшую функционциональность не хуже остальных операционных систем, поставляемых с персональным компьютером, но по меньшей на порядки цене, расчет был сделан как раз на то, что в конце концов система станет стандартом. Когда все пользователи начали покупать компьютеры IBM только с установленной MS-DOS появился бренд, а с ним и огромные прибыли. Я точно не помню, но по-моему, это "Дорога в будущее" Гейтса, которая, наверное, лежит в 40 сантиметрах справа. :)

Все это здорово, но... абсолютно неприменимо на рынке стран бывшего СНГ, причем главным образом из-за менталитета наших людей. Я имею достаточно неплохое представление, как и что может продаваться в Рунете, так вот, скажу я вам - нет разницы, будет стоить программа $30 или $350, все равно продаваться здесь она не будет, тем более массово. Мне приходилось общаться со многими людьми и организациями, которые имели возможность абсолютно спокойно приобретать подобные программные продукты, но не делали это по очень простой причине - они считали, что, если, скажем, им позарез будет нужна поисковая система, можно нанять 10, а если надо и 100 или 1000 программистов, платить им по $50 и менее в месяц, и они сделают ее быстро и задаром. Но при этом никто не думает о том, сколько все же будет стоить разработка подобной системы с нуля и смогут ли они сделать ее соответствующей предъявленным требованиям.

Полностью согласен с Александром и по поводу цены. $ 350 долларов явно не для массового покупателя. Если снизить цену до $30 - $50, заработать на этой программе можно намного больше за счет увеличения объема продаж.

Поэтому данный анализатор ориентирован на людей, которые занимаются оптимизацией профессионально и у которых подобной программы пока нет. Если же она им действительно может быть полезной, как я уже говорил, проще ее протестировать, убедиться в работоспособности и купить, чем пытаться разрабатывать самим или нанимать для этого людей и в результате потратить еще больше денег.

А под Windows не планируется версия? Думаю, те, кто работают под unix, сами могут написать подобную программу относительно быстро.

Александр, очень рекомендую почитать "Мифический человеко-месяц" Брукса :) Если на рынке есть программа с нужными характеристиками и умеренной ценой, то зачастую бывает проще купить ее, чем нанимать программистов, составлять подробное ТЗ, потом пытаться получить от них то, что требуется и т.д. К тому же, зачастую нет гарантии, что получится именно то, что хотелось.

Хотя бесспорно, что человек, который понимает, что нужно получить, умеет и знает, как это сделать, сделает быстро.

Анализатор работает и под Windows, только вот беда, нет у окошек своего планировщика заданий, приходится запускать все ручками.

Вопрос №1. С какого IP запускается робот? Не возникнет ли у пользователя анализатора проблем с поисковиками, которые могут привести к бану IP пользователя? Те же Яндекс и Гугль прямо утверждают на своих сайтах о недопустимостим работы каких-либо анализаторов позиций с их поисковыми базами, кроме как по специальной договоренности.

Робот может запускаться с любого сервера. При этом, даже если известен его IP, абсолютно не факт, что роботу может быть закрыт доступ.

Из лицензии Яндекса: http://www.yandex.ru/info/termsofuse.html
"2.4 Вы не имеете права делать автоматические запросы в Яндекс иначе как с предварительного согласия Яндекса. Обратите внимание, что под понятие "автоматические запросы" подпадают все программы, посылающие запросы в поисковую машину для выяснения, на какой позиции в результатах поиска оказывается данный веб-сайт по разным запросам."

Работает же до сих пор топпинговский анализатор, пускай и с оговорками, о которых говорит RedStar, хотя и нарушает лицензию Яндекса, и ничего они с ним не смогли сделать, несмотря на неоднократные попытки.

Вопрос №2. К топпинговскому анализатору было много нареканий по поводу того, что он неверно определяет позиции сайтов в некоторых случаях. Были ли сделаны какие-то усовершенствования программы в этом плане?

Честно говоря, я очень плохо помню код пинговского анализатора, поэтому новую версию переписал полностью с нуля. Скорее всего, проблема там была не только в парсинге, но и в том, что Яндекс определяет, откуда идет запрос, и выводит результаты в соответствии с геотаргетингом.

В любом случае я прекрасно понимаю, что людям абсолютно неинтересна нерабочая программа или программа с глюками. Полагаю, новый анализатор способен работать без каких-либо подобных нареканий, иначе в нем нет никакого смысла.

А почему ты решил, что люди, адрес сайта которых был введен в форму анализатора, реально пользуются последним? Адрес сайта могли вводить совсем другие люди, проверяющие, к примеру, позиции конкурентов - сам так делаю частенько (но не на твоем анализаторе).
По хорошему, надо было е-мейлы собирать у пользователей анализатора, если намереваешься их беспокоить какими-либо предложениями, причем, предупредив об этом рядом с формой ввода е-мейла.

1. Если людям нужно проверить позиции конкурентов, они обычно вводят в форму свой сайт и сайт конкурента. Я выбрал 8 часто проверяемых сайтов и получил 4 ответа от людей, которых мое предложение очень заинтересовало.

2. Уже почти 2 месяца, как коллектив, создавший Пинг, покинул его и неизвестно, как он вообще сейчас существует.

3. Если ты думаешь, что я предлагаю исходники анализатора, который висит сейчас на Пинге, рискну тебя серьезно разочаровать - это совершенно другая программа. В письме я дал ссылку на пинговский анализатор только потому, что его знают люди. Исходному коду пинговского анализатора больше года, с момента запуска он больше не модифицировался и, как говорят, иногда работает с ошибками. А теперь спокойно умрет.

4. Если я перешел дорогу своим анализатором лично тебе, то не нужно рассказывать тут слезоточивые истории о спаме. Спама не было - было конкретное предложение людям, которым это нужно. Причем совершенно реальное - я не предлагаю шаманский бубен или золотые замки, а нормальную работоспособную систему.

5. Я создал новую тему на форуме, куда и предлагаю перенести дальнейшее обсуждение

Я уже тоже увидел. Одному сотруднику нашей компании пришло вот-такое вот письмишко от Вячеслава Тихонова:

Отвечаю на offtopic.

Вольф, что в этом письме ты НЕ ПОНЯЛ? По-моему, совершенно ясно написано, что анализатор в скором будущем может исчезнуть. Есть люди, которые пользуются им достаточно часто и, возможно, им будет интересно просто его купить. В чем здесь криминал и вообще какие проблемы? И можно ли назвать это спамом?

Еще в феврале этого года на международной конференции THE HIGH-TECH COOPERATION FORUM, проходившей в Киеве, я представил концепцию трехступенчатой поисковой машины - каталог/полнотекстовый поиск/метапоиск. Текст доклада можно посмотретьздесь.

В этом направлении все и будет развиваться.

А чем конкретно планируете заняться в ближайшее время?

Я думаю, если все будет хорошо, в ближайшем будущем следует ожидать появления на Украине еще одного крупного интернет-портала класса Рамблера с каталогом и полнотекстовым механизмом поиска.

Ну вот, Gray, слегка я запоздал со своими поздравлениями, но уж лучше позже, чем никогда :)

Много тут уже нажелали... Желаю тебе неиссякаемого потока свежих идей и такого же желания их претворения в жизнь :)

Имеется таки две большие разницы между поисковым пауком и фэйворитс-рефрешем.
Самая большая из них это то, что Z-подвид паука не индексирует, а проверяет свежесть ссылки.

С Уважением,
В.Иванов

Уважаемый В.Иванов!

Не означает ли это, что если подвид паука не индексирует, то соблюдение robots.txt не обязательно?

Всего: 847