Создание поисковика

Мы в ближайшее время снимем фильм о наших исследованиях. Там будет рассказано о концепции, как это работает и самом подходе к поиску (и не только к поиску). Сейчас работаем над сценарием.

По поводу поиска инвесторов. На данный момент все в зачаточном состоянии. Еще нужны не один и вероятно не два года одних исследований. Серьезная проблема в железе. Тот подход, что существует сейчас в алгоритмах обработки данных нам не подходит, мы вынужденны программить то что нам нужно на том что есть.

Венчурные инвесторы в своем большинстве хотят быстрой отдачи, чего я если честно не могу обеспечить. Поэтому финансирую все сам.

Если есть интерес взглянуть не только из любопытства, то могу снять на видео, что мы умеем (все это будет в фильме). К сожалению прогу выложить не могу по нескольким причнам: это не демка она выводит много инфы для анализа, которая будет излишне для многих, она под линукс. Делать демку пока нет смысла. Сейчас мы на порядки все улучшили. Вот ссылка на первую демку:

/ru/forum/365247

сделать сейчас в области поиска "на коленке", не привлекая много-много знаний, например, в виде огромных корпусов текстов и статистики поискового поведения - практически маловероятно

судя по словам авторов у них:

- что-то n-граммное по буквам (было уже - показывает, как ни странно, достаточно неплохие результаты, но сейчас большинство современных методов лучше)

- используются нейронные сети (сейчас все массово используют методы машинного обучения, нейронные сети - далеко не самый лучший из методов технологически - разве что один из самых простых для реализации)

- авторы предлагают задавать "длинные" и "хорошие" (осмысленные и без "лишних" слов) запросы, но все современные машины умеют работать с любыми словами

- используется некая внутренняя статистика связей - судя по всему - мая главная фишка авторов (рискну предположить, что нечто подобное было положено в первые версии Conver'ы/Excalibur'а, какая то "хитрая" функция рангового распределения)

Столкнувшись некоторое время назад с тем, что приходит МНОГО(!) команд и все говорят, что у них самый лучший поиск - поисковое сообщество придумало лекарство от такого бахвальства.

Появились TREC, CLEF и т.п., а в России - РОМИП www.romip.ru .

Верите, что ваш алгоритм лучше всех - участвуйте в РОМИП. Это потребует от вас не более тысяч 20, потраченных на независимую оценку.

Иначе - все это только болтовня про САМЫЙ ЛУЧШИЙ МЕТОД ПОИСКА.

dr_dax, можно ли посмотреть на какое-нибудь демо? Описание заинтересовало.

Насчет скорости работы - по идее можно компенсировать мощностью железа. Хотя это только до определенного предела спасёт...

Да можно. У нас прога под линукс, я сниму на видео с экрана и кратко расскажу о возможностях. Но где-то в начале января. Сейчас очень сильно загружен по основной работе, конец года.

Хорошо, буду ждать. Если там на самом деле интересно, то могу даже инвайт на хабру дать :)

dr_dax, уже середина января. Есть какой-то прогресс по демке или видео?

продам.

есть готовый поисковик.