Создание новой поисковой системы ;)

lokkos, +1

Хоть не "хочу создать свою ЦМС, что в ней должно быть"...

http://www.softportal.com/hotarticles/253

еще почитайте www.dimok.ru

Это Special Edition - его купить практически не возможно, эксклюзив :D

Во первых нужны деньги чтобы что-то открывать!!!

ruswebart.com, псибо за линки!!!

Для поисковика со своей базой, нужно в первую очередь решить задачу 100тб. документов, этот этап для нас, уже пройден разработан алгоритм храненения этого 500гб-1000гб.~100Тр. Сейчас решается проблема корректного разархивирования... Все очень интересно, но возникающих проблем очень много.

Рустем,

Насчет финансирования - все ок!! )) Главное, чтоб народ думал, и создавал... ЦенНна идея... ))

lokkos, мама моя, как говорил лебедев человек пишущий сообщение с один восклицательным знаком настораживает, с 3 восклицательными - закрываю окно. :)

сразу первый вопрос что значит

Второй вопрос что вы там архивировали? - Что за файловая система, как вы умудряетесь искать по архивированной базе, тоесть вы не используете прунинг и выдача у вас по 4-12 минут на односложные запросы?

Третий вопрос где вы собираетесь искать

дай бог найти половину от названной цифры и в догонку в Терабайтах измеряются данные а не документы.

snoopckuu,

1) В байте 256 символов, для написания смвола, без учета регистра и в силу схожести англ. и русского языка + знаки препинания и пробел нам нужно 50 символов, => в байте мы можем хранить 2-5 символов

2) Если на моем компе, есть база 10 000 000 различных комбинация слов, то передать word-документ можно 1-10ю байтами

3) Каждому сайту(документу) в соответсвие ставятся присущие ему комбинации слов группа цифр, у каждого пришедшего запроса есть своя уникальная группа индексов, исходя из чего поиск происходит не по словам а по индексам(числам), что намного быстрее + приминение для поиска бинарного дерева не требует разархивацию данных, это нужно тогда, когда запрос найден и данные разархивируютя в частом порядке + спользование алгоритма определения нечетких дубликатов можно так же с_ЭкОнОмИтЬ на времени и занимаемом обЪеме

4)Бот такЖе экономит трафик аналогичным образом, что позволят индексацию проводить быстрее и с меньшим периодом времени.

Фу.... Все.... Ls -al :)

lokkos,

Во-первых когда задают вопросы, то стоит на них отвечать, но коль проигнорировали ладно.

1.Глупость.

2.Если или она есть? Проверили? Работает? - тогда отойдите и ничего не трогайте.

3.Кординатный поиск? Что значит архивация-разархивация данных, что это значит в вашем контексте, поясните мне не грамотному. причём тут бинарное дерево? Слышал звон не знаю откуда он?

4.Как бот может экономить трафик если для построение кординатного дерева ему нужна сравнить по базе синонимов и построить кординаты, как можно не скачивая узнать какой текст? - Очень интересно.

З.Ы. Ls -al нет такой команды, Униксы команды чувствительны к регистру

ls -la.

1.Глупость - согласен, но я не мальчик!!! (электропочта)

2. База есть - генерировалась 2 дня. - результат впечатлил

3. по группе индексов вычисляем "координату" запрашиваемых фраз превращаем 1байт(3символа) - в 3байта(3символа), определяем алгоритм, которым, была заархивированна фраза и подготавливаем все для выдачи результат )). Может еще и исодник прислать? А?

4. Бот может проверить документ снизу , с верху если размер такой же,то замем качать все, и переходим по ссылке внутрь сата и т.д. Вот и с экономили...

Вот так за 10мин. можно разочероваться в человеке... Ты к ним с идеей, открытой душой, а тебя взяли и растоптали... ;)

lokkos, тоесть вы считаете что нормальный человек сейчас поверить в то что вы тут написали? :) Нет, не програмист конечно.

1.no comments

2.генерировался каким образом, на базе чего? 2 дня? ровно 10 000 000? вы знаете какая это часть русского языка? Изобретаем велосипед? Про корпус русского языка что нибудь слышали?

3.запрашиваемые фраза из примера которые повалил яндекса из 50 слов помещаете в 1 байт а потом 3 байта? что за чушь?

Это что то из серии поисковая система это очень простой механизм - бот проиндексировал, сохранил странички, пользователь ввёл запрос мы поискали по сохраннёным страничкам и вывели результат - вот примерно то что вы написали, пустые слова которые не подтверждены ничем, я уже 6 лет погружен в разработку поисковых механизмов - это так к слову.

4.Глупейшая вещь, у любого сайта есть footer и header который инклудиться он либо вообще не меняется либо меняется раз в месяц скачивать низ верх что за глупости?

в ком вы разочеровались? кто вас растоптал? мне просто интересно наблюдать за вами не более того.

ЖЖОШЬ:) (сорри, не сдержался)

Пару лет назад проскакивала статья, которая, вероятно, впервые появилась первого апреля, но потом серьезно перепечатывалась. Про то, как какой-то вундеркинд изобрел суперархиватор, который сжимает любые файлы во много раз. И писалось, что ведется работа над созданием метода извлечения файлов из этих архивов:)