iam123: не очень понял предидущий алгоритм но сам бы сделал так берем строчку каждое слово в ячейку массива суем первая проверка на количество слов в предложении если первое предложение имеет столько же слов сколько и второе допустим проверяем кажде слово в первом на совпадение с каждым словом второго если количество совпадений равно количеству слов то эту строчку в файл не пишем и просмтраивает следующую строчку и так у нас будет цикл брать строчку и сравнивать ее же со всеми нижележащими по идее вытянуть должна множество мегабайт файлыпо крайней мере хуман у меня тянет файл до 128 мб вроде...
слышь дятел, без тебя уже всё сделали, давай отсюдава :)
---------- Добавлено 12.03.2013 в 11:44 ----------
sqlinj: если по кеям парсить, то рабочий не найдешь. весь нул старый, а поисковики верску постоянно меняют. если просто тянуть по ссылкам. поищи x-parser pro (php)
да ладно, чтобы они там не меняли, ссылки всегда выковырить можно, может просто софт такой тебе поподался
небыло такого ))
всё ушол домен видать )
не очень то трастовый домен )
если у тебя норм на нём лезли ? давай скинемся :)
Я сейчас перерисовываю шаб сайта, чтобы его потом сверстать, получится уникальный шаблон.
забудь обо всём всяк сюда входящий (14 раздел)
шторм, таже хрень что и парседор )
не очень понял предидущий алгоритм
но сам бы сделал так
берем строчку каждое слово в ячейку массива суем
первая проверка на количество слов в предложении
если первое предложение имеет столько же слов сколько и второе допустим
проверяем кажде слово в первом на совпадение с каждым словом второго
если количество совпадений равно количеству слов то эту строчку в файл не пишем и просмтраивает следующую строчку
и так у нас будет цикл брать строчку и сравнивать ее же со всеми нижележащими
по идее вытянуть должна множество мегабайт файлыпо крайней мере хуман у меня тянет файл до 128 мб вроде...
слышь дятел, без тебя уже всё сделали, давай отсюдава :)
---------- Добавлено 12.03.2013 в 11:44 ----------
Эм, а если мануальчики почитать и заюзать:
http://php.net/manual/ru/function.similar-text.php
Если степень схожести больше 55% то нафиг выкинуть. Процентовку можно там подобрать в ходе работ.
зачем ? если нужно именно 100%
upd всё понял, ты про скорость
$temp = str_replace(array(".",",",":",";","?","!","-","_"), " ", $temp);
не умничаю, просто так покороче будет )
да вот как то так http://capprivir76diabe.16mb.com
чё с бабулером ?
ну что, ждём курс.
главное не продешеви
если по кеям парсить, то рабочий не найдешь. весь нул старый, а поисковики верску постоянно меняют. если просто тянуть по ссылкам. поищи x-parser pro (php)
да ладно, чтобы они там не меняли, ссылки всегда выковырить можно, может просто софт такой тебе поподался