BatchUniqueChecker - новый бесплатный инструмент для проверки уникальности страниц

Вышла новая программа BatchUniqueChecker, предназначенная для пакетной проверки группы URL на уникальность между собой.

Это простой инструмент для оперативной проверки уникальности контента для группы URL, который можно запускать даже со сменного носителя. Программа бесплатна, занимает всего 4 Мб в архиве и не требует установки.


Принцип работы BatchUniqueChecker прост: по заранее подготовленному списку URL программа скачивает их содержимое, получает PlainText (текстовое содержимое страницы без блока HEAD и без HTML-тегов), а затем при помощи алгоритма шинглов сравнивает их друг с другом.

Таким образом, при помощи шинглов можно определить уникальность страниц и вычислить как полные дубли страниц с 0% уникальностью, так и частичные дубли с различными степенями уникальности текстового содержимого.


В настройках программы есть возможность ручной установки размера шингла (шингл – это количество слов в тексте, контрольная сумма которых попеременно сравнивается с последующими группами внахлест). Разработчики рекомендуют  установить значение = 4. Для больших объемов текста от 5 и выше. Для относительно небольших объемов – 3-4:


Помимо полнотекстового сравнения контента, в программу заложен алгоритм «умного» вычленения так называемых «значимых» текстов. То есть, из HTML-кода страницы можно получить только лишь контент, содержащийся в тегах H1-H6, P, PRE и LI. За счет этого как бы отбрасывается все «не значимое», например, контент из меню навигации сайта, текст из футера либо бокового меню.Такое вычленение «значимого» контента страниц дает при сравнении более точные результаты уникальности.

Список страниц для их последующего анализа можно добавить несколькими способами: вставить из буфера обмена, загрузить из текстового файла, либо импортировать из Sitemap.xml с диска вашего компьютера.

Благодаря многопоточной работе программы, проверка сотни и более URL может занять всего несколько минут, на что в ручном режиме, через онлайн-сервисы, может уйти целый день или более.

Все что необходимо для начала работы – скачать дистрибутив и добавить на проверку список интересующих URL, которые можно получить через бесплатную программу технического аудита SiteAnalyzer.


subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Яндекс тестирует показ пользовательской оценки сайта на выдаче

Яндекс тестирует показ пользовательской оценки сайта на выдаче

Средняя оценка показывается в сниппете сайта в результатах поиска
preview Как оптимизаторы относятся к разным источникам SEO-информации

Как оптимизаторы относятся к разным источникам SEO-информации

Кому они доверяют, а кому нет
preview Google не рекомендует использовать noindex для временно отсутствующих товаров

Google не рекомендует использовать noindex для временно отсутствующих товаров

Это может принести больше вреда, чем пользы
preview Google: оптимального числа ссылок на странице не существует

Google: оптимального числа ссылок на странице не существует

Об этом заявил сотрудник поиска Джон Мюллер
preview Google: при переводе контента не забывайте о тегах title

Google: при переводе контента не забывайте о тегах title

И других элементах страницы