Нужно сделать поисковую систему...

Опыт есть.

Распределённую систему с тестированием всего функционала? Не напишут. Даже один за 5 месяцев не напишет (задача проще, потому что координация разработчиков не нужна). Я хороший программист. И писал значительно более простой поисковик ( www.yakatan.ru ) 4 месяца по 100 часов в неделю. Так что не надо сказок.

Не получит. Думаю, даже хорошее ТЗ за такие деньги не получит.

Вы представляете, сколько нужно серверов для закачки рунета хотя бы раз в неделю? Это всё нужно координировать, укладывать в базы, индексировать, реиндексировать, строить выдачу и отдавать пользователям. О стандартных решениях типа MySQL придётся забыть. А вот построение выдачи, чтобы отдать её за 0.5 сек - это отдельная сложная многосерверная задача.

P.S. Движков с распределённым кодом в паблике нет (кроме Nutch на Java, но там свой геморой). Всё самим. На С. Под Linux.

P.P.S. Известно, сколько стоила разработка ряда поисковиков типа Яндекс. Лет пять назад укладывались в $100К. Сейчас зарплаты выросли вдвое-втрое. Я делал свой Якатан сам и его воссоздание обошлось бы сегодня в $100K - это тоже своеобразная метка.

Ага, команда из 9 женщин за месяц вполне выносят и родят ребенка :)

Вы сами когда нибудь писали код объемом более 5000 строк?

Не путайте интранет решения с поисковыми решениями. Это, как говорят в Одессе, две большие разницы.

1. Интранет поиск ищет только по интранет сайту, а он конечен. Я не знаю ни одного интранет сайта с объемом данных более 100Gb.

2. Качество поиска в решениях за 2к просто ниже плинтуса.

3. Даже если взять самый продвинутый движок интранет класса ( на мой взгляд WebSphere ) и поставить его на кластер из десятка 64 процессорных AS400, он все равно не даст производительности Яндекса, а стоить будет даже не 100 и не 1000 килобаксов. Ибо Яндекс, как и Гугль - специализированное решение.

Я лично не писал, но это тут абсолютно не при чем. Я заказывал кластерные решения для одного проекта.

И замечу, что задача была примерно похожая, сделать аналогичный продукт, не хуже.

Оригинал (корейский) располагался на 20 процессорном кластере и жрал ресурсы.. мама дорогая..

То что мне сделали, летало в сотни раз быстрее.. И достаточно было одного двухпроцессорного пня. С возможностью роста и феничками, которые оригиналу и не снились.

В чем фокус? Именно в том, что решения специализированные. В том что решение для 20 процессорного кластера решение писалось для самого себя, и ни на кого не смотрело. Странно что только на 20..И писалось буржуями в 1998 году году. И потрачено было на разработку около 20 млн баксов (у меня даже справка есть от них). Мне же писали в 2005 под другую платформу, и потрачено было меньше десяти тысч у.е.. и то в основном не на целевые вещи. Ибо проект был GPL

Да, забыл добавить.. Мой проектик был настолько хорош, что товарищи с оригинала подали на меня в суд, с претензией что я у них спер серверное решение. Но в наших судах сидят славные тетеньки, которые тоже не верят что МЕГА пупер программы (на которые потрачено 20 млн баксов) можно написать в домашних условиях БЕСПЛАТНО.

Я к тому что тот же яндекс писался в лохматом году и никто его переписывать с нуля не собирается. А как известно любое решение обрастает хвостами год за годом.. И что если кому действительно понадобится повторить сие чудо, то для этого не надо млн и млрд. Скрипт первоначального гугла был написан за день.

А сказки про кластеры и мега пупер компьютеры, на которых работают мега пупер программы и что невозможно повторить такое чудо.. Я уже слышал и не раз. Но тем не менее на _sourceforge.net желающих повторить эти мега пупер программы меньше не становится. И надо же! У некоторых вполне получается.

И деньги тут совсем не важная составляющая.

Ага, а тестировать это "чудо" на халяву будут? Или теже 5 программистов? И то, что ваш доморощенный "яндекс" летает быстрее вовсе не означает, что он отдаст более релевантную выдачу.

А ряд из ответивших людей делали поисковики. Я вот кластерный написал. Так что будем спорить?

И как был скрипт? Кстати, зачем тогда его четыре года дорабатывали и вложили несколько десятков лямов зеленью? ;)

Кстати, давайте не путать то. что пишется на коленке и серьёзные решения. И вообще. У Брукса описаны отличия и причина, почему хорошее решение отличается от такого же плохого по стоимости в 10 раз.

P.S. Вы учитываете, что в самом дешёвом варианте (водопадная модель) кодинг поисковика это примерно 1/6 всего проекта создания софта?

И документировать, и баги править, и архитектуру разрабатывать, и продумывать будущее развитие, и разрабатыва всякие шлюзы, и балансировать нагрузку, и управлять проектом - всё будут те самые 5 программистов 😂

О сравнимой релевантности речи даже не идёт. Речь идёт о проекте на такое же количество документов, схожую скорость реиндексации интернета и отдачу страницы быстрее, чем за пол секунды (идеал - 0.1 сек).

Я могу представить, сколько стоит одно "железо". За 10 тыс. можно как раз один сервачок купить. Создание ДЦ с прокладкой канала обойдётся в разы (в сотни раз) дороже. На самом деле, "типа Яндекс" - слишком мало. Что нужно? Скрипт для десктопного поиска или же мощный поисковик?

Ага, а покупка зданий стоит миллиарды. А закупка машин для руководства. А зарплата 300 сотрудников ежемесячно. А размещение IPO это сотни миллионов долларов. :))

Задача стояла довольно четкая - сделать поисковик. А не компанию Яндекс.

Поисковик работающий сделать за 10 тыс реально.

Нет, не будет он индексировать ежедневно весь рунет. Нет, не будет он на 300 процессорном кластере. Нет, не стоит задача покупать оборудование и арендовать каналы.

задача - просто написать поисковик

Те, кто живут в Братеево.. и пользуются местной домовой сеткой. Знают что это вполне реально.. Местный чел написал мини поисковик по местным сайтам и руссурсам.. с пауками, индексированием,выдачей и прочими атрибутами поисковика бесплатно, для себя любимого.

Да, может быть это не размах яндекса, и работает это чудо на домашнем компьютере.

Но жители Братеево довольны, и для их задач это более чем достаточно. Так что, при произношении словосочетания поисковик, не надо представлять себе миллионы долларов.

В 85 году у меня дома была домашняя кинокамера (пленочная 12 мм). Так вот пока народ ее не видел в живую, никто на слово поверить не мог. Что у меня дома НАСТОЯЩАЯ кинокамера :)) Потому что, у людей воображение представляет себе оргомную махину со стрелой и рельсами :)))

Baruchka, так не надо приписывать в заданиях "сделать поисковик по типу Яндекса". Чем четче будет изначальное задание, тем меньше будет насмешек.

И ваш пример с кинокамерой это прекрасно демонстрирует: "настоящая КИНОКАМЕРА"!

Вот с этим никто не спроит. Более того, оспариваем только бюджет поисковика.

Давайте еще раз уточним ограничения для поисковика а-la Yandex:

1. Список сайтов и их контент заливается в поисковик вручную, один раз и не разработчиками поисковика.

2. Нагрузка на такой поисковик 10 запросов в день, с интервалом между запросами - 15 мин.

3. Релевантность выдачи никого не волнует.

4. Используется машинка с PIV, SATA диском на 80Gb и памятью в 1Gb

5. возможность поиска внутри размещенных на страницах сайтов файлов формата pdf, doc, xls включаем? Или это за отдельные деньги?