Форум Практика оптимизации Сервисы и программы для работы с SE

Сервис/программа проверки пачки текстов на уникальность относительно друг друга?

kolchakA
На сайте с 19.06.2010
Offline
188
kolchakA
1073

Подскажите, плз, сервис/программу проверки пачки текстов на уникальность относительно друг друга? Желательна настройка шингла и допустимого процента уникальности. Подобная фильтрация неуник текстов есть в GeneratingTheWeb, однако насколько я понял, туда нельзя загрузить свою пачку текстов для проверки.

Datacol (http://web-data-extractor.net/datacol-applications/) - парсер на все случаи жизни
Zegeberg
На сайте с 30.09.2010
Offline
282
Zegeberg
#1

Видел только на ETXT сравнение текста, но там, вроде, пакетами нельзя.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Антибот ( https://antibot.cloud/?ref=15262 )
SF
На сайте с 22.08.2014
Offline
18
SashaFAQ
#2

В Етхт можете ручками проверять один текст относительно всех остальных,

С помощью локальной проверки и включённого поиска виндовс с индексацией

ShumiL
На сайте с 07.11.2014
Offline
49
ShumiL
#3

И было бы круто, если можно было проверять по списку URL на наличие дублей между ними.

В смысле прошелся парсером, собрал все страницы, проверил на дублирование.

Но такого нет походу :( А проверять попарно через etxt совсем не вариант :(

яндекс выгода? Как избавиться от редиректра Новые каналы больше не

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий