Как почистить дубли с перестановкой слов?

Как то давно писал такой скрипт. Делать будет долго! И может понадобится увеличить memory_limit в php.ini

<?php

$keys = file("КЛЮЧИ.txt"); // Исходный файл с ключами

$keys_temp = array();

$ex = 0;

foreach($keys as $key)

{

$temp = $key;

$temp = str_replace(".", " ", $temp);

$temp = str_replace(",", " ", $temp);

$temp = str_replace(":", " ", $temp);

$temp = str_replace(";", " ", $temp);

$temp = str_replace("?", " ", $temp);

$temp = str_replace("!", " ", $temp);

$temp = str_replace("-", " ", $temp);

$temp = str_replace("_", " ", $temp);

$temp = preg_replace('| +|', ' ', $temp);

$temp = explode(" ", trim($temp));

$temp = array_unique($temp);

sort($temp);

$temp2 = implode("", $temp);

if(!in_array($temp2, $keys_temp))

{

$keys_temp[$ex] = $temp2;

$keys_new[$ex] = $key;

$ex++;

}

}

$fh = fopen("New_keys.txt", "w");

$success_t = fwrite($fh, implode("", $keys_new));

fclose($fh);

?>

$temp = str_replace(array(".",",",":",";","?","!","-","_"), " ", $temp);

не умничаю, просто так покороче будет )

Neo00007, спасибо, попробую!

не очень понял предидущий алгоритм

но сам бы сделал так

берем строчку каждое слово в ячейку массива суем

первая проверка на количество слов в предложении

если первое предложение имеет столько же слов сколько и второе допустим

проверяем кажде слово в первом на совпадение с каждым словом второго

если количество совпадений равно количеству слов то эту строчку в файл не пишем и просмтраивает следующую строчку

и так у нас будет цикл брать строчку и сравнивать ее же со всеми нижележащими

по идее вытянуть должна множество мегабайт файлы:)по крайней мере хуман у меня тянет файл до 128 мб вроде...

;)

Эм, а если мануальчики почитать и заюзать:

http://php.net/manual/ru/function.similar-text.php

Если степень схожести больше 55% то нафиг выкинуть. Процентовку можно там подобрать в ходе работ.

слышь дятел, без тебя уже всё сделали, давай отсюдава :)

---------- Добавлено 12.03.2013 в 11:44 ----------

зачем ? если нужно именно 100%

upd всё понял, ты про скорость

Знаем такую -) Использовал для вывода похожих ключей в парседорах.

В этой задаче тоже ее проверял, но что-то не понравилось )

UPD. Проверил что с ней не так:

"скачать программу photoshop"

"скачать программу VirtualBox"

степень схожести будет аж 80 процентов, а ключевики то совсем разные по сути.

если рассматривать строку, как сумму хешей слов, то:

скачать самый новый фотошоп -> 814000000000000524288000

фотошоп самый новый скачать -> 814000000000000524288000

самый новый фотошоп скачать -> 814000000000000524288000

остается взять только одну строку.

но это без морфологии, т.к. все слова в инфинитиве.

Не нужно никаких хэшей :)

$str=str_split('скачать самый новый фотошоп');

asort($str);

echo implode($str);

Мы собираем строку в массив

Сортируем буковки

Если буковки в строке одинаковы, значит строки одинаковы 100%

Всё гениально просто 🍿

точно.

за словами буквы то и не увидели. :)