itman, У яндекса аудитория не совпадает с нашей даже географически. Про Гугль молчу: чтоб нам так развернуться, придется потратить много денег, времени и идей.
А если говорить о программировании - в этом отношении нам придется подрасти на несколько голов и расширить штат сотрудников.
Vyacheslav Tikhonov, Рано. Штука пока сырая (вижу вы уже потестили :) ). Бросаем флудить в чужом топике,
лучше человеку внятно рассказать, что ему сперва требуется почитать...
А ваше компетентное мнение лучше мне в личку или в мыло: выслушаю с удовольствием!
Vyacheslav Tikhonov, :D
itman, Мы с ними не бодаемся: силы не те. :D C Яндексом, скажем, уже понемногу сотрудничаем :)
Сейчас нагрузка очень маленькая: около 2000 запросов в день. Боюсь предположить, что будет, когда контора начнет поиск ракручивать... но - тормоза уже чувствуются, даже при том, что http-сервер стоит на другой машине.
Собственно, 40-50 млн. страниц - очень много. Нам не справиться с таким количеством, поэтому глубина прочтения одного сайта у нас пока ограничена (как и количество однотипных динамических страниц).
А URL - он и не скрыт. Просто непопулярен, и мне лично сейчас это очень выгодно :D Будем надеяться, что о поиске вскоре узнают :)
Vyacheslav Tikhonov, Индекс... скажем так, больше гига... сайтов - сейчас под 60 тыс. (это еще не весь уанет), страниц... примерно раз в 20 больше (когда все утсаканится и индекс будет более полным - можно будет сказать точней). Естественно, контент занимает больше, чем индекс. :)
Сейчас критически не хватает оперативки...
akor, локально - имелся в виду поиск по локальному сайту, а не по Сети или ее сегменту... для таких целей mysql подойдет вряд ли.
pelvis, все верно, но хранить в БД только это - недальновидно, имхо...
Наблюдение: по запросам на первом месте одна порнуха... :(
akor,
Мне кажется, что вы не с того начинаете... документ не только по тайтлу характеризуется, а еще по многим параметрам... или вы делаете поиск локальный?
Vyacheslav Tikhonov, Что имеется в виду? Индекс, или оперативка под него? Или объем вспомогательной БД? Или контент?
pelvis, Можно, если поднатужиться.
pro-maker, Уанетовский
pro-maker, Не представляю, как можно рунетовский на одном сервере поместить. У меня и так памяти под кэш катастрофически не хватает...
