Ну это не ответ. Как именно?
Ну это ты запретил, а кто-то возьмет да поставит ссылку, на страницу, которая у тебя 200OK возвращает. Примеров успешной индексации подобной шляпы хватает. Как уже выше писал, canonical помогает защититься от этого.
В случае с новостями - более чем достаточно, минимальный PR на новости и все такое. Но как ты эту схему масштабировать будешь? Это ладно на unmedia.ru всего пара сотен страниц и их можно на одну карту сайта запихнуть. А если у тебя ИМ с десятками тысяч карточек? Да и обделять их PRом тоже не всегда оптимально. Разумнее сделать нормальную пагинацию с уникализацией title и description, текстом только на первой странице, ну и rel=next/prev.
А каким образом в этом случае добавиться полноценной индексации страниц сайта? В вашем случае как я понимаю роботу отдается только последняя новость:
Только карта сайта + ссылка из "последней" новости на "предыдущую"?
Ну те же самые utm метки при работе с контекстной рекламой, хочешь не хочешь, а использовать будешь. Ну а дальше уже какая-нибудь девочка скопирует URL и пульнёт на форум для мамочек.
По большому счету только для "отрезания" страниц с левыми GET параметрами, допустим у тебя:
site.ru/news/?PAGEN_2=2
А также есть site.ru/news/?PAGEN_2=2&utm=adwords
Ставишь canonical на site.ru/news/?PAGEN_2=2, если ВНЕЗАПНО на &utm=adwords будут ссылки, то вес перетечет по каноникалу.
Вот тут тоже много интересного, в видео формате ;)
http://www.youtube.com/playlist?list=PLEydRkMGzfRXRYJCMiLCYVhmlhiUJ1Mh9
IBakalov, а я и не предлагаю использовать canonical для пагинации ;)
А не пробовали решать вопрос, открытием страницы в robots и 410 кодом ответа сервера?
burunduk, что и если страница 404 не закрытая в robots тоже ломится?
SeoZoom, ну а че тут думать, все страницы пагинации на одну
Многабукаф
Ну и плюс всякие доки не от поиска
И да, вот еще http://slideshare.net/staspolomar/ibc-14
burunduk, ты про сайт алаева? ну так проблема известная, тут больше не про 404 ответ, а что google не хочет переиндексировать страницы закрытые в роботс
