как поисковики вычисляют дубликаты?

J
На сайте с 12.08.2007
Offline
9
2063

Здравствуйте.

Какие существуют критерии, которыми руководствуются поисковые машины, когда считают, что одна страница является копией другой (и склеивают их pr в пользу страницы с большим pr)?

S
На сайте с 18.11.2005
Offline
32
#1

Начните со статьи Andrei Broder: "Identifying and Filtering Near-Duplicate Documents", in Proc. Annual Symposium on Combinatorial Pattern Matching, 2000

Ну и поиск по ключевым словам типа шинглы, супершинглы, случайные перестановки и т.д.

J
На сайте с 12.08.2007
Offline
9
#2

Спасибо.

А как пишется шингл по-английски?

Слава Шевцов
На сайте с 23.07.2005
Offline
370
#3
jexxx:
А как пишется шингл по-английски?

http://www.google.ru/search?q=%d1%88%d0%b8%d0%bd%d0%b3%d0%bb - третий сниппет содержит перевод.

Неизменность точки зрения неизменно порождает иллюзию понимания.
MASe
На сайте с 17.09.2002
Offline
219
#4

вот хорошая тема была...

правда на момент, когда я тестил программу - результаты меня немного удивили...

тем не менее попробуйте

/ru/forum/142486+%E4%EB%FF+%EE%EF%F0%E5%E4%E5%EB%E5%ED%E8%FF+%E4%F3%E1%EB%E5%E9

Only God Can Judge Me... Nobody Else... Дрезна (http://www.drezna.ru/) Помощники: Sape (http://www.sape.ru/r.167724536c.php)
D
На сайте с 24.01.2007
Offline
43
#5
MASe:
вот хорошая тема была...
правда на момент, когда я тестил программу - результаты меня немного удивили...

тем не менее попробуйте

/ru/forum/142486+%E4%EB%FF+%EE%EF%F0%E5%E4%E5%EB%E5%ED%E8%FF+%E4%F3%E1%EB%E5%E9

Не стал бы пологаться на это чудо творения... особо в свете знакомства с другой прогой того же автора

MASe
На сайте с 17.09.2002
Offline
219
#6
Dizit:
Не стал бы пологаться на это чудо творения... особо в свете знакомства с другой прогой того же автора

ну там же сказано - бета версия... тестинг...

а вообще - алгоритмы вычисления шинглов знает по большому счету только яндекс...

и приходиться гадать и гадать

J
На сайте с 12.08.2007
Offline
9
#7

Thank you!

А какие вообще есть программки по (полу)автоматическому рерайтингу русского/английского текста?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий