Речь идет о поиске полностью или частично совпадающих страниц в рамках одного сайта. Для каждой из страниц с обнаруженными совпадениями указываются совпавшие фрагменты и объем совпавшего фрагмента в процентном выражении ко всему содержимому страницы.
Проверить текст на уникальность на определённом сайте вы можете с помощью https://techaudit.site. Чтобы выполнить вашу задачу можно сделать следующее.
1) Создать на сайте страницу с проверяемым текстом, закрыв ее для индексации роботами гугла и яндекса через robots.txt.
2) В настройках проекта в techaudit.site укажите User-agent: *
3) Где-нибудь на проверяемом сайта добавить ссылку на созданную страницу
4) Запустить сканирование
5) После сканирования, получив результат проверки, выполнить действия в обратной последовательности - убрать ссылку, вернуть robots.txt в исходное состояние, удалить страницу с проверяемым текстом.
Объем проверяемых сайтов неограничен, все бесплатно.
https://techaudit.site - поиск полных и частичных дублей контента, расчет веса страниц по формуле PR, проверка орфографии на 50 языках, анализ перелинковки, выявление битых, nofollow и noindex ссылок, проверка изображений, анализ мета тегов description, keywords и canonical url, проверка тегов H1 - H6 и title страниц, анализ заголовков ответов сервера, времени, скорости, объема загруженных страниц. Регистрация не нужна. Сервис бесплатен.
Попробуйте prospero.ru, раздел "Заказать копирайт". У нас высокие требования к копирайтерам. Если текст написанной статьи не понравится, можно потребовать доработку или возврат денег, которые гарантировано будут возвращены. Подробнее здесь.
В prospero.ru данный функционал реализован. Заметка на 1000 знаков была готова через 40 минут после размещения заказа.
Никаких ограничений на кол-во проверяемых страниц нет. За последний час проверено несколько десятков сайтов с числом страниц более тысячи. Функционал проверен на сайтах с миллионами страниц. Нужно смотреть настройки вашего проекта и файл .htaccess. Возможно, ваш хостер блокирует сканирующего робота, что наиболее вероятно, если проверяемый сайт размещен на виртуальном хостинге и вы выбрали режим многопоточного сканирования.
В работе сервиса задействовано несколько выделенных серверов.
https://spellaudit.com/ - проверка орфографии сайта целиком, 50 языков
https://spellaudit.com/check-url.php - проверка орфографии страницы
https://spellaudit.com/check-text.php - проверка орфографии текста
https://prospero.ru/seo_checker.php - анализ текста
https://prospero.ru/key_checker.php - проверка ключевиков
https://techaudit.site/ru/ - проверено на сайтах с несколькими миллионами страниц .
https://techaudit.site - бесплатный сервис с функционалом Screaming Frog SEO Spider.
https://techaudit.site/ru/ - протестирован на сайте с 10 млн страниц. Возможности Screaming Frog + Page Weight + поиск полных и частичных дублей контента + проверка орфографии на 50 языках. Бесплатно.
