Проверка контента на дубли внутри сайта

Если искать только одинаковые тайтлы, то пройтись по сайту Xenu's и отсортировать результат по тайтлам.

jkm, Ксену, Netpeak Spide, creamingFrogSEOSpider, это можно сказать стандарты для проверки.

Но нужна конкретно область контента.

Ситуация такая, что на сайте в разные группы товара добавляли одинаковый товар, и т.к. у сайта пока проблемы с индексацей, то проверять на дубли текст через ПС смысла не имеет, да и долго это.

Вопрос актуален.

Arsenii, ну если дело в одинаковом товаре, то тайтлы-то у страниц наверняка одинаковые. Вот их и можно вычислить через ту же самую лягушку.

knezevolk, это только одни варианты дублей, есть и почти одинаковые товары, у них описание одинаковое, но какая либо характеристика отличается.

А вообще с тайтлов все и началось, решили на сайте сделать автоматическую генерацию тайтла и метатегов, вот тогда и повсплывали одинаковые тайтлы)

Только что allsubmitter'om проверил на уникальность 1000+ доноров. Юзайте его - очень удобно в купе с antigate'ом

"Можно выявлять дубли через ПС, но это долго и некоторые адреса могут быть не проиндексированы." - как только пс находит дубль страницы - она выкинет его из выдачи.

http://habrahabr.ru/post/210388/

Поиск дублей по изображениям товаров.

Спасибо попробуем.

Ваши бы слова да поисковым системам "в уши":)

Не там не прокатит, кто-то когда-то с изображениями не парился, тупо добавляли логотип бренда к товару или же какое то одно изображение.

Arsenii, вы ищете средство от симптомов, решите проблему на корню - сделайте товарам url не зависящий от категорий и дублей не будет. А если товары еще не в индексе стоит поторопиться=)