Как закрыть от индексации блок случайных постов?

От чего спасаться и причем здесь 404?

Не проще эти блоки вообще удалить, и через панель вебмастера удалить урл http://webmaster.yandex.ru/delurl.xml

Alipapa, страница запрещена в роботсе, отдаёт 404 и при этом есть в поиске - ни о чём не говорит? :)

а если внимательно посмотрите что ещё есть в поиске по сайту, особенно на выдаваемые сниппеты, то станет понятно - роботс не спасёт :)

Я не нашел по ссылке такого примера. Вообще я не предлагал мудрить, чтобы страница 404 отдавала. Пусть отдает 200, как все нормальные страницы. Всегда срабатывало <meta name="robots" content="noindex,nofollow">. Но чаще всего вообще нет надобности закрывать - пусть себе индексируют по другому адресу, если хотят.

а на первом месте что? :)

200 - это 100% попадание в индекс + ещё и сниппет

На 1-м месте это: http://www.allave.ru/tser.html?text=%D1%83%D0%B1%D0%B8%D0%B9%D1%86%D0%B0+%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0+404 и там написано "Искомая комбинация слов нигде не встречается". Вообще не понятно, какое это имеет отношение к теме. Да, она отдает 404. И что? Я не призывал делать так, чтобы страница, подгружаемая в iframe, отдавала 404 - это никому не нужно.

И никогда текст из iframe у меня не попадал в сниппет, да и вообще его нет, он если и индексируется, то по другому адресу. Если у кого-то случается, что текст из iframe индексируется как текст родительской страницы, или выдается сниппетом родительской страницы, покажите пожалуйста, я такого не встречал, может где-то просто напортачили и перемудрили.

так страница отдаёт 404, закрыта в роботсе, но есть в поиске,

а если поискать по сайту, но найдёте и

burunduk, так я согласен с бесполезностью 404 здесь. И, пользуясь случаем, поздравляю с 9999-м и предстоящим 10000-м постом!

Alipapa, так проблема не в бесполезности 404, а в том что в индекс попадает очень много лишнего и контролировать этот процесс всё сложнее и сложнее. я где-то приводил скриншот из поиска гугла, где в превью он подсвечивал ключи, хотя они подгружались и были закрыты от индексации, более того он (гугл), сам вносил своё форматирование! точнее интерпретировал html список - добавлял в конце ;

правда стоит отметить что искать по подгружаемому контенту он не искал

P.S. кстати, зайдите в инструмент гугла "маркер" и посмотрите страницу с ифреймом (у меня просто сейчас нет таких) и там вы скорей всего увидите всю страницу со всеми подгруженными блоками :)

P.P.S. и да есть 10000! :)

А почему бы не попробовать rel="canonical" ? Вроде бы тег для этого и придумали =).