Как подключить поисковик на своем веб сервере

12 3
V
На сайте с 19.01.2003
Offline
28
Vet
2846

Подскажите пожалуйста.

Задача: Со своего веб сервера осуществлять поиск страниц определенной тематики в Сети.

Мне порекомендовали mnogosearch, но как его подключить и какие здесь нюансы могут быть я не знаю. Может быть есть еще какие-то варианты. Сайт на PHP.

Заранее спасибо.

K
На сайте с 31.01.2001
Offline
737
#1
Задача: Со своего веб сервера осуществлять поиск страниц определенной тематики в Сети.

Нельзя ли уточнить задачу? Вы хотите проиндексировать несколько веб-сайтов или только свой?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
V
На сайте с 19.01.2003
Offline
28
Vet
#2

Необходимо искать требуемые страницы на других сайтах.

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#3
Необходимо искать требуемые страницы на других сайтах.

Это равносильно созданию своего поиска. Проще поставить форму на сайте и искать с него на Яндексе.

K
На сайте с 31.01.2001
Offline
737
#4

А каков объем этих сайтов, насколько их много?

Мне порекомендовали mnogosearch, но как его подключить и какие здесь нюансы могут быть я не знаю.

http://search.mnogo.ru/install.html - тут написаны требования.

Прилагается подробная документация, что именно вам непонятно?

I
На сайте с 28.10.2002
Offline
108
#5
Vet
Необходимо искать требуемые страницы на других сайтах.

Так и не понял, на каких-то определенных сайтах, или вообще по интернету? Если второе или их очень много, то действительно лучше через форму на Яндекс.

[Удален]
#6

Vet, есть Google API, можно делать до 1000 запросов в сутки к его базе.

Если нужно искать по фиксированной небольшой группе сайтов, можно пользоваться ht://dig.

V
На сайте с 19.01.2003
Offline
28
Vet
#7

Количество сайтов ограничено тематикой. Примерно 200-300 штук.

Как сделать поиск через форму на Яндексе или использовать Google API я

мягко говоря не в курсе. Где почитать?

Но вообще все, что предложено крайне для меня интересно и полезно. За это огромное спасибо.

Буду читать, разбираться. Вот только сроки мне поставили жесткие.

K
На сайте с 31.01.2001
Offline
737
#8

Задача и правда нестандартная. На днях тут приводили пример success story про кактусные сайты, и автор где-то тут был (cactus.dax.ru). Правда там написано, что давно база не обновлялась. Но страницы отбираются автоматически, только те, где есть заданные слова.

Форма поиска на Яндексе - извините, с первой страницы есть ссылка внизу, приводить ее тут наверное будет лишним. А Google API - по первой же ссылке: http://www.google.com/search?q=Google+API+ .

Наверное набрать было быстрее ;-).

Но четкой постановки задачи все-таки нет. Какие именно 200-300 сайтов, вы составили их список? А вдруг он неполный? 200 или 300? "Скока вешать?" А может смысл задачи в том, чтобы на первых позициях в такой системе стояли Ваши сайты ;-)?

И потом прикиньте цену вопроса, если объем каждого сайта по 5 мб, это 1-1.5 Гб надо скачать, индекс займет процентов 30. Может и правда Google API?

V
На сайте с 19.01.2003
Offline
28
Vet
#9

Нет,нет.Задача скачивания сайтов не стоит. Только поиск страницы нужной тематики(микроэлектроника, если обобщить), потом проверка ее уже самодельным фильтром на предмет конкретного контекста и затем занесение ее или ссылки или отфильтрованного контекста в БД. Неважно в принципе как дальше обработать и куда положить. Поиск конечно будет в автомате по cron'у. Я попробовал сформировать Яндексу Get запрос и он неплохо на него реагирует. Но поскольку опыт работы с поисковиками у меня нулевой я вот и пристаю с вопросами. И очень благодарен за нормальное отношение на форуме.

euhenio
На сайте с 21.09.2001
Offline
357
#10
На днях тут приводили пример success story про кактусные сайты, и автор где-то тут был (cactus.dax.ru). Правда там написано, что давно база не обновлялась. Но страницы отбираются автоматически, только те, где есть заданные слова.

-это ведь не система для продажи (хотя я не прочь ее продавать) просто по отсутствию документации и серьёзности. Страницы отбираются не то чтобы автоматически, а просто поскольку это тематическая база, то индексировать все подряд ни к чему :) Также есть ограничения на "язык" поиска...

Нет,нет.Задача скачивания сайтов не стоит. Только поиск страницы нужной тематики(микроэлектроника, если обобщить), потом проверка ее уже самодельным фильтром на предмет конкретного контекста и затем занесение ее или ссылки или отфильтрованного контекста в БД.

-если страница с чужого сайта, то по-любому ее придется сначала скачать :)

с ув., Евгений Трофименко seo блог Trofimenko.ru ( http://trofimenko.ru/ ) но ыыы мало обновляется... Tools.Promosite.ru - анализатор апдейтов Яндекса (пожертвуйте лимиты на Яндекс.XML! ( https://searchengines.guru/ru/forum/801888/page7#comment_11942489 )) Konvr.ru - увеличение конверсии сайта на 81% за 4 недели ( http://konvr.ru/ )
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий