Про разделители («.» «?» «!» «,») в анкоре ссылки.

Я думаю, у каждого даже два минимум: внутрикорпоративное и на внешнюю среду, причем последнее предназначенно не для оптимизаторов, а для пользователей.

Это не белый конь получится, а пристарелый пони в цирке шапито. :) После "тошноты" пока все меркнет. А для того, чтобы дать определение чему-либо неизвестному, ковырять надо не по-детски это неизвестное, на общественных началах это делать, к сожалению, не позволяет доход, да и , честно говоря, дело это засасывает и не дает развиваться более конструктивно. Не в обиду будет сказано таким известным, как Сергей, Евгений, Миныч (сорри, если кого забыл) и неизвестным, которые работают себе втихоря и в ус не дуют.

-я вот не заметил, можно ссылку на пост с солидарностью? :) На мой взгляд, из "собираются" торчит как раз намек на хитрый алгоритм счета :)

-а для простоты, для начала - допустим, что нет никаких пересекающихся пассажей. Есть 2 документа с "разным окружением тяжелых слов". Не хочу считать, но посчитайте сами. На основе суммы (=среднего и тп) весов слов не получится именно учесть окружение тяжелых слов. Иначе перед тем, как считать вес пассажа, придется сортировать слова по убыванию веса, что на каждом пассаже делать геморройно имхо.

Ну, для пользователя Яндекс использует термин "предложение". Вроде бы. Меня вот что смущает. Если в докладе для РОМИП Сегалович не ввел определения пассажа, то вроде оно должно быть всем перцам в IR как бы известно по-умолчанию... Пошастал по англоязычным источникам - определений нигде нет четких...

Блин, вы тут годами перетираете что имеет значение, а что не имеет..

а на яндексе сидят 50 программеров которые не предполагают, а ЗНАЮТ)

по теме, не имеет никакого значения, проверяется методом сапы и 2 одинаково нулевых сайтов в течении 2 недель.

Ну так, идите и проверяйте на здоровье... Пока проверяется... А тут люди неспешно будут искать методы, которые ни от каких сап и прочих эфемерных сущностей не зависят ;)

Я про масштабы топика :) Ведь к нему Ваше замечание относилось :)

У разных людей могут быть различные взгляды на правильную стратегию развития личности. Со стоящим собеседником об этом можно рассуждать бесконечно :)

/ru/forum/comment/2493634

А какое математическое действие тогда имеется в виду под "распределяется"?

Коллеги, а по поводу "(" и ")", то есть скобок, есть наблюдения? Являются ли они разделителями? Есть подозрение, что являются, но это всё "наблюдалось" только на одном сайте, поэтому уверенности никакой нет..

не являются

Miha Kuzmin (KMY), wolf, euhenio, дайте пожалуйста, хоть один аргумент (или ссылку на пост) в пользу запросозависимого пассажа.

Аргумент в пользу запросонезависимого пассажа - в нем нет необходимости, а это дополнительная нагрузка в момент запроса.

euhenio, к дорам никакого отношения не имею :)

wolf,

2.2 Passage Retrieval

Language modeling is a new framework for IR, and to learn

more about this framework it is important to study how wellknown

IR techniques can be implemented, and whether there are

differences in performance from what has previously been

observed. Passage retrieval techniques have been extensively used

in standard IR settings, and have proven effective for document

retrieval when documents are long or when there are topic

changes within a document, thus making it an appealing candidate

for the present work. Second, from an IR system user’s

standpoint, it may be more desirable that the relevant section of a

document is presented to the user than the entire document.

Passages can be defined based on the document structure [4, 7, 17]. This entails using author-provided marking (e.g. period,

indentation, empty line, etc.) as passage boundaries. Examples of

such passages include paragraphs, sections, or sentences.

Passages can also be defined according to subject or content of

the text. The main idea is to divide documents into coherent units

with each unit corresponding to a subtopic. A well-known

algorithm for deriving such passages is TextTiling [6, 7]. Other

algorithms have been reported in [17, 14, 18]. The third type of

passage is window, which consists of a fixed number of words or

bytes. Passages in this category may or may not take logical

structure of the document into account. Overlapped windows as

used in [4] and non-overlapped windows as used in [9] do not

depend on text, whereas pages in [22] and bounded paragraphs in

[4] make use of paragraph boundary information and restrict

windows to some minimum length. A more dynamic alternative to

windows is arbitrary passages proposed by [8, 9]. The word

“arbitrary” means that a passage can start at any word in the

document. Two subclasses are further defined. Fixed-length

arbitrary passages resemble overlapped windows but with an

arbitrary starting point. Variable-length arbitrary passages can be

of any length. Unlike structural, topical, and window passages

which are typically predefined (defined before or at indexing

time), arbitrary passages are defined at query time. A survey of

passages can be found in [9].