- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
EmEditor
В блокноте можно дубли удалить, Notepad++
так блокнот и Notepad++ - это разные программы...
так блокнот и Notepad++ - это разные программы...
Фразу из контекста выдёргивать - ещё и не то покажется )))
Если бы я имел ввиду виндовый notepad.exe - я бы так и написал. 🚬
Если бы я имел ввиду виндовый notepad.exe - я бы так и написал.
а я сначала на него подумал и искал там эту функцию)))
Notepad++ глючная программа, по крайней мере старые версии у меня помню вылетали.
Notepad++ глючная программа, по крайней мере старые версии у меня помню вылетали.
И касперский ещё со своими тормозами, да? ))
Если не хочется ставить никакие дополнительные программы и разбираться с ними, то можно поюзать эту многофункциональную онлайн тулзу для обработки текста/строк, в том числе для удаления повторяющихся строк.
LDA777, спасибо, уже нашел несколько аналогичных сервисов, ими и пользуюсь.
---------- Добавлено 20.06.2019 в 01:28 ----------
LDA777, а тот сервис, что по ссылке мне не подходит. Там в бесплатном варианте только 500 строк за 1 обработку. Хотя в других бесплатных сервисах таких ограничений нет.
LINKASSISTANT от seopowersuite.com - норм штука, но платная.
Как говорил классик, любая сложная проблема имеет простое и неправильное решение.
Поскольку ТС даже не уточнил формат входных данных, стоит рассмотреть все случаи.
Ссылка - это не всегда только урл акцептора, информация о ней чаще всего включает в себя еще и анкор + урл донора. Форматов представления может быть много, но чаще это либо таблица в xls/csv, либо полностью html-тег, либо спец. разметка, навроде той что есть у сапы.
Теперь рассмотрим тривиальный случай, когда обрабатываются только урлы акцепторов. Очевидно, что задача уникализации этих урлов не может быть корректно решена простой текстовой сортировкой и последующим фильтром дубликатов. Нужно, как минимум, нормализовать урлы - удалить #фрагменты, привести к одному регистру все, кроме пути и query_string, раскодировать пуникодные и percent-encoded урлы, в каких-то случаях даже объединить зеркала.
Если добавить к урлу акцептора такие данные, как урл донора, анкор и набор атрибутов, то появляется еще больше неоднозначностей, которые нужно описать в требованиях. Например, нужно ли считать дублями ссылки на одинаковый акцептор, но взятые с разных доноров, или если они имеют разные анкоры. Или если они отличаются только атрибутами навроде nofollow.
Рекомендовал бы ТСу все-таки начать с анализа, какая действительно проблема решается такой уникализацией, и искать полноценное решение под ваш use case.