Осталось выяснить самое малое - по каким признакам считается релевантность урла теме, почему тем всего(!) 500 и взято 7 уровней?
Keva, с днем рождения! 🍻 Удачи во всем и успехов в работе!
Greenwood, за такой осмысленный ответ можно ведь и отхватить на пару-тройку штрафных :)
Читайте форум
Кстати, а дубли никак не чистятся? Одна и та же страница с www и без идут сразу друг за другом - 5 и 6 места.
Что ж, все понятно. Мониторинг информации и конкурентная разведка.
Подобные продукты с нужными функциями есть, но стоят денег, и немалых. Free версий лично я не видел.
Пока не очень чувствуется учет текста ссылок и ссылочного ранжирования. Например, при поиске сайта Кабмина
вылезают какие-то газетные отрывки, но самого сайта нет. Вообще выдача на навигационных запросах хромает довольно серьезно.
Информационные и транзакционные запросы отрабатывает достаточно неплохо, хотя если есть аналог Pagerank, то порядок вывода сайтов немного удивляет - вверху находятся не слишком известные сайты.
Скорее всего, такую программу вряд ли где-то можно взять бесплатно. А для каких целей это нужно, если не секрет?
Скорее всего имеется в виду не тот реферат - реферат документа (abstract).
Что значит близких по смыслу? Разве при запросе, принадлежащем одной выбранной теме, поисковик не выдает документы по этой и близким темам?
Например, по
Information Retrieval.
А наиболее значимые термины - имеется в виду keyphrases extraction?
На самом деле это не так уж и сложно. Например, очень частый вопрос:
Где можно найти статистику запросов Яндекса и Рамблера?
Ответ здесь.
Там дальше по прочтении топиков все станет понятно.
Именно это я и имел в виду. Нужно просто описать каждый вопрос множеством запросов :)