Чем отсеить дубликаты ссылок?

Каких именно ссылок? Если у Вас есть база ссылок, то есть софт в том числе и бесплатный. И есть разные сервисы парсинга с чекерами в которых есть функция удаления дубликатов. Вам надо поскать на форумах дорвейщиков, там подскажут.

Ссылки белых каталогов.

А подробнее, хоть название не вспомните?

Можно ссылку?

По вашим сообщениям понятно, что вы хотите как-то отсеить дублирующие ссылки с каталогов. Насколько мне известно - каталоги в основном не допускают 2-жды регистрировать один и тот же сайт, а следовательно дублей практически не будет. 🚬

P.S. Если вы не то хотели спросить, то будте любезны переформулировать вопрос. ;)

К сожалению я давно этим не занимаюсь поэтому просто не помню сейчас что да где. Насчет софта, в принципе любой парсер имеет встроенный чекер, но серьезный парсер стоит денег. А на форумах дорвейщиков народ нет нет выкладывает выкладывает простенькие скрипты чекеров, парсеров и т.д. Я сам качал там несколько полезных скриптов, в том числе и скрипт проверки баз. Насчет сервисов там же есть информация, люди делают сервисы и выкладывают их на тест. Попытайте счастья на Кликфоруме (народ там подобрее), Умаксфоруме. Например сходите сюда http://klikforum.com/viewtopic.php?t=3968 помоему это то что Вам нужно.

Тема закрыта, ответ дал Mikich,