Как сравнить 2 базы URL и почистить?

высылайте файлы в архиве на thinkit собачка mail.ru, верну почищенный за маленько wmz

Дело не в деньгах, нужно самому научиться. Базы большие, много мусора десятки мегабайт, пересылать накладно.

Когда-то давно видел скрипт на javascript, который умел сравнивать списки адресов, но на списках в пару сотен URL уже ощутимо тормозил. Может быть, вам имеет смысл заказать что-то подобное у программеров.

Allsubmmiter, вам в помощь.

Пробовал, не помогает, у меня много адресов на одном домене, адреса разные, а аллсаб в черный список вносит только домен, но не адрес целиком.

Бармалейкин, php скрипт подойдет?

PHP5

all.txt - все

bad.txt - плохие

new.txt - новый файл, содержит уникальные строки из all.txt, которых нет в bad.txt

<?php

$a_all=array_unique(file('all.txt'));

$a_bad=array_unique(file('bad.txt'));

$a_new=array_diff($a_all,$a_bad);

file_put_contents('new.txt',implode("",$a_new));

?>

Проверяйте свои мегабайты, проще все файлы бросить в один каталог и оттуда запустить скрипт с командной строки. Будет быстро.

Скрипт для удаления всех дубликатов строк из файла (по просьбе читателей).

PHP5

all.txt - все

new.txt - новый файл, содержит уникальные строки из all.txt

<?php
file_put_contents('new.txt',implode("",array_unique(file('all.txt'))));
?>

Извращенный вариант однострочной программы. Работает тоже быстро.

Я.Аналитик вам в помощь , пользуюсь им всегда для таких целей. И никаких php скриптов.

Shtogrin зачет ... я вот почемутобы такой скриптик растянулбы в раза 2 минимум :)