seodev: А есть уверенность, что у похожих страниц в вашем случае наблюдается действительно пересечение по общим словам? В случае спама это может быть и неверно: спамер может специально коверкать слова или заменять некоторые русские буквы латинскими эквивалентами.
Замена букв в слове равносильна замене самомго слова, а если заменить все слова - то такой документ дубликатом являться не будет наверняка ;) Кстати, факт замены букв в слове и алгоритм шинглов будет рассматривать как факт замены слова, а значит - как разницу м/д документами.
seodev: Если пересечение есть, то можно использовать идеи Locality Sensitive Hash, см. например здесь: http://www-db.stanford.edu/~taherh/papers/scalable-clustering.pdf только вместо одной суммы crc будет несколько, чем больше сумм, тем меньше вероятность не найти похожий документ. Найденные в результате кандидиты нужно сравнить непосредственно с помощью какой-нибудь более точной функции.
Хм... Но сравнивать еще раз с помощью более точной функции - точно очень накладно. Более точная - это расстояние Левенштейна?
Rusl: А поподробнее можно? Идея, насколько я понял в том, что эти слова передают суть документа и при незначительных изменениях теста страницы остаются не изменными?
Да, мы берем качественный состав (т.е., например, считаем контрольную сумму от строки из конкатенированных, отсортированных в определенном порядке - например, по алфавиту - слов из среднечастотников) среднечастотников. К сожалению - это не более чем идея. Интересно, какая получится у нее статистика в плане ошибок 1го и 2го рода. Но метод длжен быть очень удобным, т.к. имеем всего 1 контрольную сумму для документа и считать ее быстро.
А насчет метода от комманды Яндекса, кто-то может прокомментировать, как выбирать эти "характеристические" слова? :)
Кстати, кто что думает по-поводу нормализатора от AOT ? Я в свое время ирался с ним, но скорость обработки мягко говоря хромала (сильно тормозилась индексация именно на этапе нормализации).
andrewxr: Ага,останутся только серьёзные СЕО-проекты,которые смогут заплатить за хорошую ссылку...Бред...Первым делом этот алгоритм скажется никак не на сео-проектах,а на обычных юзерских-проектах.
Вот тут я полностью согласен, что это каснется всех владельцев блогов, небольших сайтов. А SEO все-равно будет жить, просто ссылки будут покупать тематические, на которые цены вырастут.
В любом случае апакалипсисом это нельзя назвать. Да метод здравый - убивать те сайты, с которых уходит много ссылок на разные темы, т.к. такие сайты являются с большой вероятностью продавцами. Соответственно, после бана такие ссылки и учитываться не будут. Впрочем кроме бана, возможна пессимизация таких линков для начала. А потом - после ручной проверки - бан. Все это, конечно, не более, чем предположения.
Но, надо подождать и посмотреть, насколько жесткими будут эти фильтры, баны и т.д.
А есть уверенность, что у похожих страниц в вашем случае наблюдается действительно пересечение по общим словам? В случае спама это может быть и неверно: спамер может специально коверкать слова или заменять некоторые русские буквы латинскими эквивалентами.
Замена букв в слове равносильна замене самомго слова, а если заменить все слова - то такой документ дубликатом являться не будет наверняка ;) Кстати, факт замены букв в слове и алгоритм шинглов будет рассматривать как факт замены слова, а значит - как разницу м/д документами.
Если пересечение есть, то можно использовать идеи Locality Sensitive Hash, см. например здесь: http://www-db.stanford.edu/~taherh/papers/scalable-clustering.pdf
только вместо одной суммы crc будет несколько, чем больше сумм, тем меньше вероятность не найти похожий документ. Найденные в результате кандидиты нужно сравнить непосредственно с помощью какой-нибудь более точной функции.
Хм... Но сравнивать еще раз с помощью более точной функции - точно очень накладно. Более точная - это расстояние Левенштейна?
А поподробнее можно? Идея, насколько я понял в том, что эти слова передают суть документа и при незначительных изменениях теста страницы остаются не изменными?
Да, мы берем качественный состав (т.е., например, считаем контрольную сумму от строки из конкатенированных, отсортированных в определенном порядке - например, по алфавиту - слов из среднечастотников) среднечастотников. К сожалению - это не более чем идея. Интересно, какая получится у нее статистика в плане ошибок 1го и 2го рода. Но метод длжен быть очень удобным, т.к. имеем всего 1 контрольную сумму для документа и считать ее быстро.
А насчет метода от комманды Яндекса, кто-то может прокомментировать, как выбирать эти "характеристические" слова? :)
Кстати, кто что думает по-поводу нормализатора от AOT ? Я в свое время ирался с ним, но скорость обработки мягко говоря хромала (сильно тормозилась индексация именно на этапе нормализации).
Регистрируйте домены на несколько лет вперёд, или покупайте старые и продлевайте их на 3-5 лет, минимум.
А есть какие-то экспериментальные данные по этому? Помогает ли в реальности при ранжировании?
А mozdex.com ожил-то ;)
Ага,останутся только серьёзные СЕО-проекты,которые смогут заплатить за хорошую ссылку...Бред...Первым делом этот алгоритм скажется никак не на сео-проектах,а на обычных юзерских-проектах.
Вот тут я полностью согласен, что это каснется всех владельцев блогов, небольших сайтов. А SEO все-равно будет жить, просто ссылки будут покупать тематические, на которые цены вырастут.
В любом случае апакалипсисом это нельзя назвать. Да метод здравый - убивать те сайты, с которых уходит много ссылок на разные темы, т.к. такие сайты являются с большой вероятностью продавцами. Соответственно, после бана такие ссылки и учитываться не будут. Впрочем кроме бана, возможна пессимизация таких линков для начала. А потом - после ручной проверки - бан. Все это, конечно, не более, чем предположения.
Но, надо подождать и посмотреть, насколько жесткими будут эти фильтры, баны и т.д.
Кстати, Evg, вы часом не один из команды адре? ;) Впрочем, если нет, то все-равно в предмете разбираетесь.
Позвольте задать вам несколько вопросов ;)
1. Как лучше решать задачу повторного кравлинга страниц? Т.е. если 1контент обновился?
2. Горячая подмена индекса - как правильнее?
Это все для того, чтобы максимально автоматизировать работу паука, т.к. изначально все команды запускаются ручками.
А где многоуважаемые господа берут 0.8 версию? Вроде последняя доступная 0.72? Или не там смотрю?
Из SVN. Кроме того у них есть nightly-build.
В саплементал статус перешли ранее забаненные домены?