10 млрд. кейвордов. Как удалить дубли?

Если у Вас 10 млрд кейвордов и 90% дубли, то после их удаления останется 1 млрд.

И что Вы предполагаете с этим делать?

Справляется. Я тоже парсил прямой эфир и потом этими утилитами обрабатывал. Самый лучший способ - это сделать список с частотностями. Я делал вот так:

cat keys.txt |sort|uniq -c -i|sort -n -r > sorted-with-count.txt

На выходе получаем файл со списком ключей и их частотностью, за период парсинга. Т.е все "дубли" будут собраны в кучки и посчитаны. После этого файл в сотни раз уменьшится.

Примерно вот такой список (выделен красной рамкой):

А потом уже можно ковырять эти списки другими операторами, анализировать, формировать семантические ядра по тематикам и нишам и т. д. Ну вот, на этом же скрине видно как я распарсивал и подчитывал ключи по частотностям.

А что это?

😕

---------- Добавлено 08.05.2016 в 13:57 ----------

cat keys.txt |sort|uniq -c -i|sort -n -r > sorted-with-count.txt

Прям то, что надо, можете растолковать что такое "cat keys.txt |sort|uniq -c -i|sort -n -r > sorted-with-count.txt" ?

😕

не нужно придумывать лишних сущностей :) авторы sort умнее нас вместе взятых, программа сама прекрасно понимает, что память не резиновая и умеет использовать временные файлы :)

Вот прямо сейчас выполняется

nice -n 19 ionice -c2 -n7 sort ./id.01.txt -uo ./sort.id.01.txt -T ./_temp/

размер файла около 8гигов. На обычном сервере с 16G памяти и обычными дисками , отрабатывает за 1-2 часа.

Это люди показывают, что они

не умеют читать описания прилад.

"cat" лишний в обоих случаях.

"sort" может работать

с файлом на диске.

Не, я в том смысле, что я, вообще, не знаю из какой это оперы, скажите как гуглить, что это за слова такие?)

www.google.com / freebsd sort

https://www.freebsd.org/cgi/man.cgi?query=sort&sektion=1

The sort utility is compliant with the

IEEE Std 1003.1-2008 (“POSIX.1”) specification.

Это стандартные утилиты linux. Они есть на любом VPS, через консоль(bash) запускаете обработку. Вместо файла keys.txt указываете путь к своему файлу, вместо sorted-with-count.txt произвольное имя для файла, куда вы хотите сохранить результат обработки.

Утилита cat извлекает все что есть из файла keys.txt, отдает результат утилите sort, которая выстраивает ключи в алфавитном порядке, чтобы дубли сгруппировались. Это нужно, чтобы затем утилита uniq могла определить неповторяющися ключи, при этом запущенная с ключом -с она подсчитывает количество повторений каждого ключа в группе и выводит уже список в виде "количество - ключ". Результат снова передается утилите sort, чтобы она отсортировала уже ключи по частотности, при этом по умолчанию она отсортирует по возрастанию, а ключ -r переворачивает её результат, чтобы он был по убыванию. Таким образом самые высокочастотные ключи будут первыми в списке.

Ну ладно уж, сделайте скидку, мы просто пока еще не такие гуру и вместо умничанья, отсылки в гуглы и чтения описаний "приклад", мы сразу даём работающее решение. По поводу cat - это не имеет особого значения.

В данном случае я привык использовать так, чтобы не путаться в синтаксисе с пайпами и есть мнение, что cat считывает файл на stout гораздо быстрее, чем это сделает sort. Даже если вспомнить философию unix-way - каждая утилита делает что-то одно, но делает это наилучшим способом.

О, шикарно, спасибо огромное!))

KeyWordKeeper 4.2.4