Форум Сайтостроение Веб-строительство

Как удалить дубли?

Zlodey-
На сайте с 27.11.2010
Offline
80
Zlodey-
364

Парни, кто может подсказать, как и чем можно удалить дубли строк не учитывая всю строку.

Что имеем: Ссылки вида http://www.site.ru/(тут текст который нужно проверить на дубли)/se/(тут набор цифр и букв)

Тобиж нужно проверить на дубли исключительно до /se/* и удалить полностью строку.

Формат txt

Ковырял TextPipe, но что то не догнал..

Может кто знает как это можно сделать?

A
На сайте с 20.08.2010
Offline
775
awasome
#1

Админка какая?

Zlodey-
На сайте с 27.11.2010
Offline
80
Zlodey-
#2
awasome:
Админка какая?

Формат txt, все ссылки сейчас в файле txt. Удалить нужно как раз из txt. Не из сайта.

[Удален]
#3

Можно на php прикалоться :) но есть вопрос в "(тут текст который нужно проверить на дубли)" может быть /(slash) еще ... или там только слова, буквы, цифры без слешей ? И сколько строк всего ?

Google: количество слешей в Внутренние дубли страниц чем Google: завершающие слеши не

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий