lgar

Ща заглаголю истину

переводил только что наспех(статья относится непосредственно к вордпрессу), но не сомневаюсь, что и с другими движками есть такие проблемы:

Представьте, что вы паук(ака crawler), который гоняет по инету и индексит все страницы на которые заходит(как он это делает не важно).
так вот вы паук, и как вы думаете:
1. у меня есть только определённое время, что бы заглянуть и проиндексить ваш сайт
2. обычно, но не всегда, я захожу на ваш сайт через main(home)page.
3. моя работа заключается в том, что бы сохранить весь контент который я увидел на странице, отправить "на базу" и дальше по любой ссылке с этой страницы уйти, что бы сделать то же самое со следующей страницей

ВордПресс(ВП) (как и многие движки) сделан для ЧЕЛОВЕКА и в ВП есть огромная ошибка, которая заставляет поисковых пауков включать страницы вашего блога в Дополнительные результаты!
Так вот теперь собственно проблема - Дополнительный Результат(сопли, supplemental result и т.д.) на блоге.
ВП сделан так, что он помещает один и тот же контент в разные места вашего блога,такие как:

- в категории к которой относится статья
- в архиве за месяц
- некоторе время эта статья будет висеть на главной, пока не наберётся достаточное количество статей, что бы она исчезла
- так же статья будет торчать в RSS'ах
- ещё одно место, но наверняка не последнее - статья будет доступна как отдельный пост

Отсюда вывод - у нас есть как минимум 5 дублированных статей, вот как раз таки это и будет duplicate content.

И в самом конце статьи говорится о том, что нужно всего лишь скачать плагин, который подсказывает пауку поисковой машины, куда стоит идти, а куда не стоит

Источник статьи и плагин там же