Создание мгновенного полнотекстового поиска (собственный "яндекс")

круто, на чем решение?

Разные варианты есть.

Конкретно то что на скрине - это SQL -> Sphinx -> AngularJS

Но может быть все что угодно.

Например XML -> Filebeats -> Logstash -> Elasticsearch -> Vue.js :)

Еще пример - на "эластике" можно делать совершенно волшебные решения для мониторинга приложений и серверов. Я сейчас для себя делаю такую штуковину:

* Сбор всех событий от back-end (PHP/Laravel)

Примеры:

- Зарегистрирован пользователь email@gmail.com, ID: 999

- Пользователь email@gmail.com, ID: 999 оплатил подписку на тарифный план ххх

- Произошла фатальная ошибка file "/home/..../filename: line 999" Exception trace: .... , ошибка была у пользователя email@gmail.com, ID: 999

* Сбор всех событий front-end (SPA на Vue.js)

Примеры

- Пользователь перешел на такую-то страницу

- Пользователь нажал такую кнопку

- У пользователя email@gmail.com, ID: 999 произошла вот такая-то ошибка во время попытки сделать такое-то действие, вот что было при этом в данных и вот такое состояние имело хранилище в браузере и вот все данные пользователя

* Сбор всех метрик сервера

- Загрузка CPU

- Памяти

- Трафик по сети

- и тд и тп

В результате все это собирается в elasticsearch и на основе этого можно легко строить красивые отчеты, графики и разборы полетов. Например мы получаем автоматическое извещение (что тоже настраивается в рамках этого решения) что у пользователя произошла ошибка в браузере. Идем в интерфейс и видим что до этого он был на той странице и нажал ту кнопку - ок, видим контекст. Дальше смотрим что в это же время на сервере была такая-то ошибка и у того же пользователя. Ок, уже больше выяснили. А потом смотрим метрики сервера и обнаруживаем что например на одной из сетевых карт пропал коннект и сервер не смог связаться с внешним сервисом и поэтому произошла ошибка в PHP. И вот это уже вполне себе причина. Класс? Хотите такое? :)

Подобные решения можно просто купить как сервис - например NewRelic посмотрите. Но если там включить все что я тут описал и запустить сколько-нибудь приличный трафик - готовое решение будет стоит как частный реактивный самолет. Причем постоянно.

А как обычно происходит на большинстве сайтов? Произошла ошибка в браузере пользователя, он написал жалобу на почту в саппорт "у меня ваш сайт глючит", письмо переправили программисту (уже хорошо), но у него нет никакой возможности понять что же именно произошло и он начинает задавать пользователю странные вопросы типа "а что вы до этого делали? а какой у вас браузер? а виндоус перезагружать не пробовали?" :) вместо того чтобы просто взять имейл пользователя и через минуту видеть всю информацию о том что он делал и что у него произошло :))

В случае когда такая система мониторинга настроена пользователь после ошибки вообще может сразу "идти гулять" и ничего не писать. Админ сам видит что произошла ошибка, исправляет и пишет пользователю что все исправлено, можете пользоваться дальше. Ошарашенный таким событием пользователь скромно благодарит и становится "поклонником" вашего приложения :)

это большие системы, похожий аналог bugsnag.com там не плохая статистика

А для чего сие чудо?

Оно парсит чтото

сайт с 2000 посетителями в день по 50 событий на каждого (что очень скромно) - это 3 миллиона сообщений в месяц - 1000 долларов ежемесячно по ценам bugsnag

---------- Добавлено 10.10.2017 в 14:33 ----------

ээээ.... парсит. что угодно парсит, если научить.

логи любые парсит "из коробки"

если Вы спрашиваете про парсинг сайтов - то нет, родного парсера там нет. надо отдельно писать модуль который будет собирать информацию. например пишем скриптик на PHP или Go который собирает информацию с сайта, отправляет ее в эластик, тот ее мигом индексирует и дальше делайте с ней что угодно. можно просто как хранилище использовать, но это несколько overkill. а вот если какая-то статистика-аналитика-графики-полнотекстовый поиск по данным и тп - то да, крайне полезно.

Такое оформление вывода в поиске тоже возможно?

запросто!

ну не совсем так уж просто, но можно :)) и картинки и выдержки и подсветка и рубрики - все можно сделать.

собственно все кроме рубрик я уже делал тут https://www.autobam.ru/search?q=nokian (похоже штатные программисты в автобаме верстку проимели)

ок, спасибо

порешаем, отпишу в личку попозже

Спасибо большое, Василию, за консультацию.

Задача была настроить индекс Elasticsearch. Так как таблица MySql уже весила более 12гб при 5млн записей, и таблица растет постоянно, проблема была в том что это товарная витрина и в категоризации используется масса фильтров для поиска данных, нагрузка сумашедшая, решением исправить ситуацию было использовать Elasticsearch. Но ряд моментов был не понятен так как я не использовал ранее Elasticsearch.

По проделаной работе:

- настроили правильный mapping

- настроили analyzer на руский и английский варианты поиска одновременно

- так я использовал Yii2 + Yii-Elasticseach, его стандартные методы индексировали мою таблицу около 20 часов, это с проверкой ключа на уникальность. Василий преложил решение которое ускорило этот процес в 20 раз, сейчас данный процес занимает около 1 часа).

По этому если вы испытываете проблемы с Elasticsearch и вообще вам сложно разобраться во всем этом, то добро пожаловать к Василию. Василий превратит ваши мытарства в нужный вам результат, и причем проведет консультацию в максимально скоростном режиме.