Нужна софтина-фильтр для ключевых фраз

88
На сайте с 05.11.2002
Offline
16
888
1029

Народ, помогите с таким софтом:

вобщем есть список ключевых фраз, одна фраза на каждой строке, в этом списке много фраз повторяется.

Хотелось бы извлечь из него только уникальные фразы.

Какая софтина может такое сделать? Или может скрипт кто-нибудь подкинет, вроде несложный скрипт должен быть...

Спасиб.

Polite Moose
На сайте с 22.04.2002
Offline
85
#1
Какая софтина может такое сделать?

Ну... Excel например.... Отсортировать и ручками вычистить дубли...

А если слова в фразе разделить табуляций (разложит по нескольким столбцам) то по разным столбцам разные сортировки можно делать.

Удачи, доброго пива (http://www.fifth-ocean.ru/) и настроения! Релевантность определяется не тИЦ, не ВИЦ, не количеством ссылок, не частотой ключевого слова, а соответствием запросу!
88
На сайте с 05.11.2002
Offline
16
888
#2

Excel - этож уметь надо ;) , а я в нем с трудом разбираюсь.

Ручками удалять - очень долго получится, фраз много.

Мне бы че-нибудь такое: вставил текст, а на выходе получил тот же текст, но уже отфильтрованный... :)

Polite Moose
На сайте с 22.04.2002
Offline
85
#3
Excel - этож уметь надо , а я в нем с трудом разбираюсь.

Клиника? :)

Ручками удалять - очень долго получится, фраз много.

Сколько всего? Сколько примерно уникальных?

Мне бы че-нибудь такое: вставил текст, а на выходе получил тот же текст, но уже отфильтрованный...

Сколько денег платите?

VT
На сайте с 27.01.2001
Offline
130
#4
Или может скрипт кто-нибудь подкинет, вроде несложный скрипт должен быть...

Мда... масштабы задачки просто впечатляют. :)


#!/usr/bin/perl

while (<>)
{
~s/\n|\r//g;
~s/^\s+|\s+$//;
$unique{$_}++;
}

foreach $phrase (sort {$unique{$b} <=> $unique{$a}} keys %unique)
{
$counter++;
print "$counter $phrase $unique{$phrase}\n";
}

Теперь можно сохранить этот скрипт, например, как unique.pl и прогонять через него свои файлы с фразами:

./unique.pl phrase.log > unique.log

В результате в unique.log будет:

номер_фразы фраза частота_фразы

AiK
На сайте с 27.10.2000
Offline
257
AiK
#5

Vyacheslav Tikhonov, тогда бы уж grep советовал, чего уж там мелочиться-то :D

VT
На сайте с 27.01.2001
Offline
130
#6
Vyacheslav Tikhonov, тогда бы уж grep советовал, чего уж там мелочиться-то

Человек просил скрипт, значит он по крайней мере должен знать, как его использовать. По крайней мере теоретически :)

88
На сайте с 05.11.2002
Offline
16
888
#7

Спасибо, вроде то что надо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий