Как реализовать алгоритм на PHP

Ну саму структуру выстроить правильно нетрудно, обычной 3NF достаточно. :) Проблемы в основном возникают из-за неправильно построенных запросов (когда заставляют считать много лишнего), и настройки софта.

Ну не обязательно чтобы харды были маленькие 😂 (меньше 30ГБ вроде уже не производятся), надо просто разносить базу на максимальное их количество, чтобы операции чтения данных распараллеливались (большой кусок сразу с многих винтов). Дальше уже на разные компьютеры разносят (кластеризация), в общем действительно целая наука. :)

Так вон их тут много, думаю что-то подойдет.

http://www.hotscripts.com/PHP/Scripts_and_Programs/Search_Engines/index.html

А поповоду производительносьти PHP

То я видел тут темку , так там человек для газеты поиск делал ...

У него запросы чуток крывы.

И плюс запрос обрабатывается быстрее если это не

1)SELECT *

2)Не более 3 REGEXP

3)Ограничивается (т.е. разбиение LIMIT)

Ну это вроде ускоряет ...

Хотя я ж Яндекс не собираюсь запускать :)))

По логике я создавал базу словестную.

В ней было 40000 страницы (конечно гены из генератора)

Вот там на локалхосте поиск составлял по выборке с условием 8 слов происходил 12 секунд.

Но там всё в одной базе.

оптимизаия скриптов это очень интересная тема и написано про нее очень много, вот парочка.

по php

по mysql

так же на личном опыте убедился, что нужно грамотно распределять работу mysql и php. был скрипт, который выбирал из статистики запросов уникальные слова и подсчитывал их кол-во, так вот скрипт делал все это запросами в бд и выполнялся 30сек, а после переделки стал выполняться за 5сек.