Новый поисковый концепт

Ну не важно как это все оформлено. Нигма использует АПИ существующих поисковых систем, не имеет пауков, не имеет собственной базы данных. Соответственно ее возможности ограничены возможностями этих поисковых систем.

А я не ограничен. Предоставляю возможность запросов совершенно другого уровня пользователю.

Эти запросы невозможно выполнить не в Гугле, не в Яндексе не в других поисковых системах, кроме моей.

А не могли бы вы привести пример таких запросов другого уровня. Не, я без стёба, действительно интересно (сам сейчас работаю над концептуальной интернет-штуковиной, но немного в другой области).

Ну разные запросы есть.

Например получить все запощенное видео с ресурса searchengines за вчера.

http://booben.com/Query?q2=CustomPhrase%2Bssearch%20%40yesterday%20%40vid%2B1&s=online&a=search&p=1

Или получить все политические холиворы, которые кипели, тоже за вчера

http://booben.com/Query?q1=ManyItemsFromCategory%2B%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5%20%D1%85%D0%BE%D0%BB%D0%B8%D0%B2%D0%BE%D1%80%D1%8B%2B1&q2=CustomPhrase%2Bssearch%20%40yesterday%2B1&s=online&a=search&p=1

Или получить все темы в которых больше 100 страниц

http://booben.com/Query?q2=CustomPhrase%2Bssearch%20p0000100%2B1&s=online&a=search&p=1

И тд тд тд.

Больше есть в моем блоге

вангую: на современном этапе проект не совсем понятен и нужен, но потом в процессе работы проект будет изменен и будет создан реально крутой и нужный сервис, главное не остаавливаться на достигнутом и смотреть что есть похожее ☝

Первое сильно зависит от свежести индекса, но чисто технически, яша это может

http://yandex.ru/video/search?text=(site%3Asearchengines.guru%20%7C%20site%3Asearchengines.ru)%20date%3A20150701&safety=1

Второе сложнее, но впринципе возможно несколькими запросами

третье вообще просто: http://yandex.ru/search/?text=site%3Asearchengines.guru%20inurl%3Apage%3D100&lr=2

Вам нужно либо выделить и решать какую-то конкретную задачу, либо запилить что-то доселе невиданное и офигенно удобное. Пока не похоже.

Расскажите попонятнее какие задачи может решить и эффективно решает ваш концепт, кому это может быть полезно и будут ли люди этим пользоваться?

На данный момент я не вижу применимости данной системы для широкой публики, !но пообная вещь вполне может оказаться полезной для всяких ИМ или политиков(негативные отзывы) или Милонова (нипахристиански) но для этого ее нужно сделать более узкой и профессиональной

Тут вся суть в деталях. И Гугл и Яндекс умеют искать видео и картинки, отображая их единой простынёй плиток. Но только у меня всё медиа отображаются одной лентой с заголовками тем. Что делает с этой штуки наконецто реально полезный сервис, который лично я использую по 5 раз в день. Поскольку часто пользователи тянут на форумы самое интересное (каррикатуры, видео, кубы и тд).

Это Вы погорячились.

У меня целый конструктор запросов, где можно указать множество условий и даже построить таблицу, что делает поиск более гибким.

Хитро, но сложно и негибко. У меня например через поисковик можно вытянуть одним запросом все статьи которые получили больше 100 комментов на хабре. Через хинт с урлом уже такое не сделать.

Да вроже уже немного пользуются.

По томуже Алехе на 500к за пару месяцев запрыгнули без любой (платной) рекламы и это еще не успев засветится на таких ресурсах как хабрахабр.

Такое уже есть. Юскан называется.

Bazist, я правильно понимаю, что поиск сейчас производится только нескольким ресурсам? Какова техническая нагрузка по ним? Какой она предположительно станет, если придётся обсчитывать, к примеру, Рунет первого уровня (3+ млн. доменов)?

Нагрузка по индексируемым 11 сайтам мизерная. Вся база живет в ОЗУ и ближайшие несколько месяцев (если не лет) там будет жить, беспрерывно обновляясь пауками. За несколько месяцев насобирался индекс аж в 200 мегабайт + (3 гб сам контент, который можно не хранить, а качать динамически по запросу). Теперь можете представить сколько нужно времени и индексированых сайтов, чтобы забить допустим 3 терабайта винчестер. Ну парочка рунетов точно влезет :) Впрочем я об этом пока не думаю, потому что узкое место для меня интернет канал, а не быстродействие самой машинки и возможности хранить этот контент.

Просветите, а само ранжирование (если этот термин приемлем к Вашим алгоритмам) отнимает много ресурсов?

Какой ширины канал нужен?

От несколько миллисекунд ( для конструктора запросов ) до 10 сек (если нужно обсчитать ассоциативный граф на ходу). В плане ранжирования я еще провожу разные эксперименты.

Ну давайте посчитаем, хотябы для рунета.

3+ млн. субдоменов. Пускай каждый сайт имеет около 100 страниц (понятно что есть сайты где 1 млн страниц, есть где 10 страниц ). Средняя страница занимает около 50 кб текста в интернете.

Допустим, вся база должна обновлятся каждую неделю полностью.

Итого:

3млн * 100стр * 50 кб = 15 тб трафа еженедельно.

Или ~25 мб ежесекундно. Или паук качает разные сайты одновременно в 500 потоков.

Или, чуток повзрослее, вся база должна обновлятся ежесуточно.

3млн * 100стр * 50 кб = 15 тб трафа ежедневно.

Или ~175 мб ежесекундно. Или паук (сеть пауков) качает разные сайты одновременно в 3500 потоков.

Поэтому, на данный момент размерами базы я особо не заморачиваюсь.

Больше пока делаю упор на качество поиска и разные эксперименты с ранжированием.

Как только будет устаканившаяся эффективная модель, можно будет рости в ширь.

Думаю что это будет уже скоро. :)