Создание собственного поискового сервиса

12 3
A
На сайте с 18.03.2015
Offline
51
3016

Здравствуйте.

Наша компания работает в узком сегменте рынка. Возникла необходимость в создании поисковика по относительно небольшой группе узкотематических сайтов. То есть, чтобы поиск вёлся не по всей сети, а только по сайтам из относительно небольшого списка (сейчас около полутора сотен сайтов, в результате - максимум тысяча - полторы). Задача - поиск оборудования, документации и профессиональных статей. Вопрос:

Существует ли сервис, с помощью которого можно было бы создать такой узкий поиск или, возможно, такую возможность предоставляет какая-нибудь из существующих систем. Лет 15 назад такие сервисы были, да и сам google давал возможность создавать индивидуальный поиск. Есть ли что-то рабочее сейчас? Или нужно заказывать отдельный продукт?

Убедительная просьба не рекламировать в комментариях собственные сервисы - меня уже раз за это забанили :-) Спасибо за понимание :-)

ArbNet
На сайте с 27.10.2019
Offline
124
#1
Нет такого сервиса и заказывать бессмысленно т. к.  никто сможет реализовать, если уж корпорации в IT сфере этого сделать не могут.

Сейчас даже гиганты поисковики не могут чётко ранжировать сайты, выдают мусор в перемешку с рекламой и накрученными ГС, а сайты с актуальной информацией почти не реально найти, так как сами сайты сделаны мягко говоря паршиво. 

Чтобы сделать такую систему нужен хороший движок продуманный под эту систему на котором будут сайты по которым будет производится поиск + сервисы для хранения информации + алгоритм поиска и ещё некоторые моменты. Я такую систему продумал, но пока ещё в разработке.
Обсуждение разработки на моём фреймворке https://discord.gg/23N4s9x2kp
W1
На сайте с 22.01.2021
Offline
285
#2
ArbNet #:
Сейчас даже гиганты поисковики не могут чётко ранжировать сайты

Им не надо ранжировать ничего, им просто нужен поиск по группе сайтов. Тут вопрос больше упирается в ресурсы сервера, сам по себе поиск сделать несложно для тех, кто понимает, что там нужно и зачем.

Мой форум - https://webinfo.guru –Там я всегда на связи
ArbNet
На сайте с 27.10.2019
Offline
124
#3
webinfo #:

Им не надо ранжировать ничего, им просто нужен поиск по группе сайтов. Тут вопрос больше упирается в ресурсы сервера, сам по себе поиск сделать несложно для тех, кто понимает, что там нужно и зачем.

Просто поиск это и есть ранжирование т. е.  надо отсортировать сайты по ключевикам и от запроса выдавать результат начиная с самых актуальных к менее актуальным.

W1
На сайте с 22.01.2021
Offline
285
#4
ArbNet #:

Просто поиск это и есть ранжирование т. е.  надо отсортировать сайты по ключевикам и от запроса выдавать результат начиная с самых актуальных к менее актуальным.

Вы не видели ТЗ, и пытаетесь что-то выдумывать. Это непрофессионально. И при этом ещё произвольно трактуете термин "ранжирование".

temniy
На сайте с 15.03.2008
Offline
235
#5
alexrealty :
Лет 15 назад такие сервисы были, да и сам google давал возможность создавать индивидуальный поиск

Да и сейчас дает - https://support.google.com/programmable-search/answer/4513882?hl=ru

И других сервисов полно, поищите в поисковике

Создание поисковой системы
Создание поисковой системы
  • support.google.com
Чтобы создать Систему пользовательского поиска, просто введите ее название и укажите список сайтов, по которым будет осуществляться поиск. На главной странице Системы пользовательского поиска Google нажмите Создать систему пользовательского поиска или Новая поисковая система . Добавьте нужные ресурсы в поле Сайты, на которых выполняется поиск...
⭐ Лучший хостинг от 4 евро, VPS от 6 евро, VPN недорого - разные локации - любые карты - скидки до 20% - https://fornex.com/c/ffi2e3/ru/services/
Aisamiery
На сайте с 12.04.2015
Offline
293
#6
ArbNet #:
Нет такого сервиса и заказывать бессмысленно т. к.  никто сможет реализовать, если уж корпорации в IT сфере этого сделать не могут.
ArbNet #:
Я такую систему продумал, но пока ещё в разработке.

Пять баллов =)) Анектод вспомнил

Поехали Василий Иванович с Петькой в командировку за границу. Разошлись в разные стороны.
Встречаются через три месяца. Василий Иванович голодный, ободранный, а Петька весь в золоте.
ВИ-Где взял.
П - Захожу в клуб, а там в карты в очко играют. Вначале то карта не шла.
А потом один говорит "У меня очко", а я ему ну-ка покажи, а он
"Джентельменам верят на слово"
И тут у меня карта как поперла....
alexrealty :
Задача - поиск оборудования, документации и профессиональных статей.

Вам выше подсказали, но если хотите что то более кастомизированное, то можно посмотреть в сторону algolia или например более кастомных решений таких как sphinx и elasticsearch

Site Search & Discovery powered by AI
Site Search & Discovery powered by AI
  • www.algolia.com
Create AI-powered search & discovery across websites & apps.
Разработка проектов на Symfony, Laravel, 1C-Bitrix, UMI.CMS, OctoberCMS
ArbNet
На сайте с 27.10.2019
Offline
124
#7
Aisamiery #:
Пять баллов =)) Анектод вспомнил

Для меня слово "собственный" ассоциируется с принадлежащий мне или кому либо, что это полностью независимая от чего либо система и с которой может делать что и как угодно собственно собственник.

Использование сторонних сервисов это не собственная поисковая система. Обрушение фейсбука вам урока не преподало значит..

T7
На сайте с 19.09.2018
Offline
63
#8
ArbNet #:
Чтобы сделать такую систему нужен хороший движок продуманный под эту систему

Там бот/парсер для начала нужен. Если последовательно:

1500 сайтов × 50000 документов =75000000 / 2 сек / 86400 сек = 434,028 суток  чтобы только все забрать.

Поправьте, если  ошибся. Так что, в любом случае, только потоки.

А сам по себе поиск - сейчас все субд имеют хороший фуллтекс на борту с морфологией там, БМ25 всякие. Плюс какие то собственные словари, препроцессинг запроса.  Вероятно, результат вполне приемлемый будет.

A
На сайте с 18.03.2015
Offline
51
#9

Коллеги, нам не нужно ничего ранжировать. Нам нужно просто найти нужную информацию на группе сайтов. Вопрос релевантности результатов поиска запросу не стоит. И вопросы составления семантического ядра тоже не стоит. Какие задачи должны решаться:

1. Найти документацию на нужный прибор
2. Найти обзор на нужное оборудование
3. Выяснить, у кого из дилеров тот или иной прибор есть в наличии

И т.д. Не нужно ранжирование. Просто нужно, чтобы поиск вёлся по группе сайтов, а не по всей сети. Всё.

ArbNet
На сайте с 27.10.2019
Offline
124
#10
timo-71 #:
1500 сайтов × 50000 документов =75000000 / 2 сек / 86400 сек = 434,028 суток  чтобы только все забрать.

Это если делать как известные поисковики.  Я продумал иную систему через агрегаторы. К агрегаторам подключаются сайты, агрегатор просматривает сайты записывает ключевики и страницы у себя в базу. Сайт с поиском определяет направление и делает запрос соответствующему агрегатору, тот делает запрос сайтам, сайты передают нужную информацию пользователю.

И никаких 434,028 суток, мусорных сайтов(не соответствующих запросу) и прочего г.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий