Наверное, не так выразил мысль. Программа открывает страницы и получает HTML-код. Дальше что происходит? Она сравнивает по шинглам HTML со всеми тегами? Она выбирает все слова внутри тегов, исключая сами теги? Она берет текст из каких-то определенных тегов, может быть, и из атрибутов, к примеру, изображений? Она берет куски текста объемом больше Х слов, склеивает их и проверяет? Или как? Какой у нее алгоритм выбора данных со страницы для сравнения?
HTML не используется, он отсекается.
Берется полный текст страницы, либо "значимый" контент (определяется алгоритмически). Затем контент сравнивается между собой.
Текст из изображений и мета-тегов не используется.
Представляем вашему вниманию новую версию бесплатной программы BatchUniqueChecker, предназначенной для массовой проверки уникальности контента нескольких страниц между собой по списку URL, карте сайта Sitemap или локальным HTML-файлам.
Что нового в версии 1.4:
Не оптимально в сравнении в KeyAssort или не оптимально вообще?
У нас два варианта Hard-кластеризации, второй на большом количестве запросов работает медленно.
Но можно пользоваться и первым вполне.
Ничем, ребята просто сделали копию Кей Ассорта, вот и всё.
Добрый день. Подскажите, пожалуйста, сервис для анализа внутренних ссылок и анкоров.
Мне нужно посмотреть, сколько внутренних ссылок на моем сайте ведут на конкретную страницу и с каким анкором. А также аналогичным образом проанализировать конкурентов. И сравнить. И желательно, чтоб это еще были ссылки только из контента.
Для анализа внутренних ссылок рекомендую использовать программу SiteAnalyzer - вкладка Custom Filters на панели дополнительных данных.Там же можно отфильтровать все входящие внутренние ссылки на определенную страницу и сделать экспорт в Excel.
SiteAnalyzer умеет определять дубли, а также есть отдельный модуль в виде небольшой программы - BatchUniqueChecker
Глянул keys.so
Мало обратных ссылок видит. Может для рунета он еще подходит, но для буржа точно не вариант
А где в исходном посте примечание, что для анализа ссылок с буржа?
Как вопрос поставили, так вам и отвечают.