Поисковик

ха-ха)) система ранжирования пока не разработана)))) php+мускуль - тоже жжёшь))

Мой вам совет - бросайте это дело и как можно быстрее. Не тратьте своё время на работу, которая заведомо не будет выполнена хорошо.

Если проиндексировать web, условно, "каждый дурак" может, это задача разрешимая, то релевантно расположить результаты - задача в разы сложнее, это и есть основной критерий качества поисковика.

Ну а уж про бизнесс-модель и нечего говорить. Почитайте побольше, начните с roem.ru, может дальше уже читать расхочется))

я же не говорю и не обещаю что это поисковая система побьет Yandex Google (она рассчитана на малый объем)

Бери любой немецки! По деньгам на много выгодней!

Пару миллионов страниц с простой системой ранжирования)) тут одним серваком не обойтись! )) Тут мини кластер нужен...

Извени! но не будет у тебя работать пара миллионов страниц на мускуле) узнай по подробнее про ранжирование, возьми калькулятор, посмотри что нужно и что даёт мускул)) возможно перейдёшь на постгрис

главное в этой фразе "))"

На этом форуме люди опытные и так понимают что об этом речи не идёт. Тем более если у тебя нет системы ранжирования и в добавок возможно юзаешь LIKE "слово%")))

Почитай по больше в википедии... о поисковиках...

Удачм!

Сорри за оффтоп ТС, но желаю Вам удачи. Искренне.

А поиск для начала лучше сделать региональным/узкотематическим.

Еще можно сделать аддурилку и спалить урл на серче - отбоя от новых заявок на индексацию не будет ;)

Спасибо большое...

Cr1t добавил 16.11.2008 в 21:01

Спасибо учту...

протестил двиг)) дааа... чег-то на 25 миллионах страниц стал не работоспособным)))

Тоже надо попробовать :)

А что, дело благородное. Тематический поиск нужон. Только краулерами своими сайты не кладите.

А теперь про техническую реализацию проекта.

Надо взять много маленьких VPS (как вариант боьшой сервер и порезать его на кусочки, но лучше поначалу много маленьких ВПС) и размазать по ним проект. при этом добиться того что случайное убивание несколькоких из них не приводило к падению всей системы.

Также надо добиться того чтобы добавление еще одной ВПСки в систему приводило к уменьшению нагрузки на все остальные системы.

Так вы построите масштабируемую систему. Это нужно для большого количества запросов.

Мускл + ПХП хорошо, но медленнее чем могло бы быть на других системах. Это некритично поначалу, т.к. систему нужно строить очень распределенную. Например запрос обрабатывается и отсылается на десятки/сотни копьютеров (маленькие ВПСки в вашем случае), они обрабатывают результат и возвращают его в агрегатор, который уже компанует конечный ответ сервера.

При этом разумно поделить запросы на высоко частотные и низкочастотные и сделать для них быструю (маленькую) и медленную (большую) базу данных, или проще говоря некий аналог кеша.

Дальше будет видно кто тормозит и оптимизить эти куски, вплоть до переписывания их на С - оно не очень трудно, т.к. из всего функционала мускла вы будете использовать около 1%. Пеед тем как переписать - почитайте кнутта - много чего умного писал!

Вот както так я бы двигатсья начал.

Пусть человек развивается:) может разберётся в поисковых технологиях через 5-10 неудачных экспериментов

Полностью с вами согласен..