Хочу добавить страницу с неуникальным текстом

сделайте вывод текста ajaxом, а внизу добавьте уникальный комментарий

Отскринить текст небольшими областями и вставить как картинки, со своими комментариями к каждой.

по моему оптимальный вариант

Действительно запрет индексации самый простой и эффективный способ, так что noindex и nofollow вам в помощь!

robots.txt ему в помощь

ТС, если это необходимый людям текст, но при этом он не является каким либо докуметом, а просто скажем какое либо интервью

Закройте его от индексации и не парьтесь. Так надежней всего будет. Хотя при наличии одной не уникальной страницы, тем более отдельной... маловероятно, что будут какие-то негативные моменты для ключей не относящихся к конкретному тексту.

это лучше чем noindex и nofollow

Не вижу смысла загромождать robots.txt , если речь идет всего лишь об одной страничке, т.е. даже не о разделе. Хозяин барин конечно, но в данном случае я бы с роботсом не заморачивался.

noindex и nofollow - при этом текст попадает в базу Яндекса, а ТС борется за чистоту "совести" сайта

Если это одна страничка из, допустим, 30 уникальных в индексе, то добавляйте её и не сомневайтесь. Яндекс копипаст с хорошей перемешкой уником хавает на ура!

(небезосновательно, есть 3 таких сайта)

Если впадать в полную паранойю, то лучше всего отдавать 404)))

Ибо у меня есть подозрение, что Яндекс к примеру один фиг собирает все тексты с сайта обходя robots

Как обходит?

В большинстве случаев в robots-е Яндекс описывают отдельно открывая страницы для архиватора, например

Или, что еще лучше для любого робота, кроме Яндекса...

Зачем ему это надо?

А как он узнает, что сайт не достаточно хорош для выдачи? Или, например держит его в 30-ке без видимых причин...

Но это так. В порядке берда... Подумать

samimages добавил 20.03.2011 в 10:35

Эт да))))))