Если же нет, предлагаю оптимальный вариант для известных компаний:
Открываем страницу ru.wikipedia.org с названием компании, парсим поле "отрасль", ищем совпадения этого поля с названием, данным в таблице, можно использовать словари синонимов, для увеличения точности. Все довольно просто :)
Значит наиболее оптимальный вариант поиска в этом случае- использование подключения словаря сленговых выражений с учетом ранжирования контента (приоритет форумам профессионалов, затем- остальные сайты).
Пожалуй это действительно хороший вариант, однако в таком случае более острой станет проблема неоднозначности запроса... То есть по одному-двум словам затруднительно определить, что именно интересует пользователя, тут проблему частично решат учет интересов (на основе предыдущих запросов) и поведенческие факторы, а также поиск по категориям, построенный на автоматической классификации страниц.
Mostrich: ПС должна быть распределенной, использовать ресурсы серверов хостеров. По-моему, метод увеличения количества дата-центров для хранения индекса - путь тупиковый. Незачем хранить копию всемирной паутины.
Всмысле "использовать ресурсы серверов хостеров.", не совсем понял?
vipmix: Не так давно наткнулся на один сайт с хорошей посещаемостью, открыл его robots.txt и увидел, что файл .htaccess специально закрыт от индексации. И тогда возник вопрос: "А разве так можно?" Хотелось бы услышать общее мнение на эту тему...
---------- Добавлено 15.07.2012 в 19:07 ----------
Антон Белов: лучше бы сделали поисковик, наполняемый самими вебмастерами. Заплатил 100 рублей - продвинулся в какой-нибудь топ1. Заплатил 10000 рублей - продвинулся на топ1 в конкурентный топ. Заплатил 1000000 рублей и продвинулся в какой-нибудь очень крутой топ. Всё официально. Без всяких лишних понтов. В итоге спама не будет, ибо спамеры не потянут платить за крутые топы, а в мелких топах они и так везде есть и никому особо не мешают.
Возможно будет 2 вида поиска - зависимый и независимый, соответственно коммерческий и некоммерческий.
Жаль, что в данный момент концепция некоммерческого поиска не жизнеспособна, а то что есть крайне уступает коммерческим аналогам. Возможно будет абонплата с определенными гарантиями, хотя...
Хмм... А фильтрация по User-Agent - не вариант?
Можно использовать лишь средства СУБД?
Если же нет, предлагаю оптимальный вариант для известных компаний:
Открываем страницу ru.wikipedia.org с названием компании, парсим поле "отрасль", ищем совпадения этого поля с названием, данным в таблице, можно использовать словари синонимов, для увеличения точности. Все довольно просто :)
Может быть баян, но попробуйте вбить этот запрос в гугле
Просто Яндекс определен как синоним слову Google
Значит наиболее оптимальный вариант поиска в этом случае- использование подключения словаря сленговых выражений с учетом ранжирования контента (приоритет форумам профессионалов, затем- остальные сайты).
Пожалуй это действительно хороший вариант, однако в таком случае более острой станет проблема неоднозначности запроса... То есть по одному-двум словам затруднительно определить, что именно интересует пользователя, тут проблему частично решат учет интересов (на основе предыдущих запросов) и поведенческие факторы, а также поиск по категориям, построенный на автоматической классификации страниц.
ПС должна быть распределенной, использовать ресурсы серверов хостеров. По-моему, метод увеличения количества дата-центров для хранения индекса - путь тупиковый. Незачем хранить копию всемирной паутины.
Всмысле "использовать ресурсы серверов хостеров.", не совсем понял?
Не так давно наткнулся на один сайт с хорошей посещаемостью, открыл его robots.txt и увидел, что файл .htaccess специально закрыт от индексации. И тогда возник вопрос: "А разве так можно?" Хотелось бы услышать общее мнение на эту тему...
Бред... .htaccess не индексируется...
В Белоруссии появится новый поисковик Index.by
Источник: http://internet.cnews.ru/news/line/index.shtml?2012/01/10/472115
Что думаете?
Уже отстают от графика.
---------- Добавлено 15.07.2012 в 19:07 ----------
лучше бы сделали поисковик, наполняемый самими вебмастерами. Заплатил 100 рублей - продвинулся в какой-нибудь топ1. Заплатил 10000 рублей - продвинулся на топ1 в конкурентный топ. Заплатил 1000000 рублей и продвинулся в какой-нибудь очень крутой топ. Всё официально. Без всяких лишних понтов. В итоге спама не будет, ибо спамеры не потянут платить за крутые топы, а в мелких топах они и так везде есть и никому особо не мешают.
Изложил принцип контекстной рекламы...
Возможно будет 2 вида поиска - зависимый и независимый, соответственно коммерческий и некоммерческий.
Жаль, что в данный момент концепция некоммерческого поиска не жизнеспособна, а то что есть крайне уступает коммерческим аналогам. Возможно будет абонплата с определенными гарантиями, хотя...
А жить ПС на что?
Написано же "идеальная"...
http://stats.wikimedia.org/archive/squid_reports/2012-01/SquidReportCrawlers.htm