удались дубли строк в txt

12
R
На сайте с 23.11.2007
Offline
218
1484

Добрый.

Есть текстовый файл в 100к урлов.

Нужно удалить абсалютно идентичные строчки.

Как? софт? какой?

СДЛ: Строительный журнал | 100 страниц | уникальный дизайн (/ru/forum/577692)
[Удален]
#1

всё у вас вопросы странные.

<?php

$rows=file("file.txt");

$rows=array_unique($rows);

file_put_contents("newfile.txt",implode("\n",$rows));

?>

Prior
На сайте с 03.03.2008
Offline
194
#2

AllSubmitter умеет:) (при генерации описаний для проекта есть функция удалить дубли)

Но это, правда, через Ж наверное решение.

Ответы на вопрос - https://answers.net.pl
R
На сайте с 23.11.2007
Offline
218
#3
neolord:
всё у вас вопросы странные.

<?php
$rows=file("file.txt");
$rows=array_unique($rows);
file_put_contents("newfile.txt",implode("\n",$rows));
?>

спс.

после работы скрипта появились пустые строки между доменами.

[Удален]
#4

после какого именно?

Вот этого?

MV
На сайте с 08.07.2008
Offline
51
#5

Перед работой скрипта удалите все "\r"

myViS добавил 09.08.2009 в 02:23

из файла с урлами

R
На сайте с 23.11.2007
Offline
218
#6
neolord:
после какого именно?
Вот этого?

да. после вашего

[Удален]
#7

между всеми строками или выборочно?

R
На сайте с 23.11.2007
Offline
218
#8

между всеми.

MV
На сайте с 08.07.2008
Offline
51
#9

может так сработает:

<?php

$rows = file_get_contents("file.txt");

$rows = str_replace("\r", "");

$rows = explode("\n", $rows);

$rows = array_unique($rows);

file_put_contents("newfile.txt",implode("\n",$rows));

?>

myViS добавил 09.08.2009 в 02:47

так точнее будет:

<?php

$rows = file_get_contents("file.txt");

$rows = str_replace("\r", "", $rows);

$rows = explode("\n", $rows);

$rows = array_unique($rows);

file_put_contents("newfile.txt",implode("\n",$rows));

?>

myViS добавил 09.08.2009 в 02:50

если мой не работает, то можно после прогона предыдущего открыть список в Word и сделать замену ^p^p на ^p :)

[Удален]
#10
Rishpik:
между всеми.

тогда file_put_contents("newfile.txt",implode("\n",$rows));

исправляем на file_put_contents("newfile.txt",implode("",$rows));

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий