Без копипаста иногда просто нельзя. Мучают ли вас сомнения насчет копипаста?

У меня мучения, когда уник - курсовые, дипломы и прочие работы пылятся в вузах и никто их не использует. :) Ну хоть бы на ГСы пустить...

За то, что переспал с ней, а не с другом?:)

По теме - до лампочки. Да я и не копипастю никогда - просто нет потребности.

Иногда спрашиваю свой мозг - ну что мозг, мучают ли тебя сомнения? Молчит мозг, не дает ответа.

Неправда ваша, дяденька! Очень даже используют. :) Но все уважающие себя преподы (если таковые еще остались) сурово банят за это.

Таблицу сечения кабеля нужно унифицировать, а не уникализировать.

Уникалицация заведомо ложный процесс, пустая трата времени на искажение источника.

ПСы ещё пожалеют, за сераль интернета мульёном искажений.

Думается мне, что не изобрели ещё настолько мощных машин, что бы в лоб все тексты интернета по шинглам сравнивать, тем более что цель всего этого как раз снизить нагрузку на железо. Там намного более мощная и интересная алгоритмическая часть.

Легенды про сравнение по десятисловию - легенда?

Мы им покажем! (ц) фильм "Гараж"

Задача: сравнить между собой 10000 похожих документов по 3000 символов (500 слов) в каждом.

Если делать в лоб десятисловными шинглами: после разбиения получаем для сравнения массив в 500 000 записей и 250000000000 операций сравнения стрингов (что таит в себе ещё кучу подфункций). На выходе получим таблицу минимум в 100 000 000 строк и 2 столбца. Для справки, уютный exel отказывается принимать в себя более 64 000 строк. Следующий шаг отсортировать всё это безобразие, итого ещё 100000000! операций. ПК ложится замертво от такой проверки, сервер кое-как тащит, но проверка занимает десятки минут.

Теперь расширим диапазон, у нас не 10000, а десятки квадриллионов документов, которые надо сравнить. Нет, на существующих суперкомпьютерах это просто нереально, и что самое главное - бесполезно.

Развивая мысль про слухи и наблюдения, аля "делать главную уникальной", "делать уникальными заголовки". Да - это вполне имеет место быть, потому как логично проверить на схожесть базу главных страниц, базу заголовков и т.п. и уже в случае сигнала проверять остальное, но опять же начать не с шинглов, а с пассажей, с чем связаны ещё ряд слухов и наблюдений.

И да, для экономии мощностей легче не копать в глубь, а накладывать фильтр уже после первого ряда проверок, т.е. по подозрению.

Вот как-то так это работает. Всё разумеется ИМХО.

Утешили :)

Я столько не выпью.:)

Не знаю, сколько занимаюсь сайтами (и ГС в том числе), обхожусь без копипаста. Правда, картинки неуникальные использую иногда, но совесть не мучает, потому как магазины, с которых я их беру, либо тырят их у буржуев, либо легально берут у производителей.

Ну не знаю, мне так инверторы показывает да электроды рутиловые оптом ;)