Как закрыть от индексации большое количество страниц

Здравствуйте!

Во-первых, если при заходе на любую из этих страниц выдает код 404 ошибки - то все норм. Фильтра никакого не будет. Если нет 404, то нужно сделать.

Но если нужно закрыть от индексации, то можно закрыть в robots.txt задав необходимые правила. Подробнее можно прочитать здесь: http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449&from=40360&rd=1

Другой вариант прописать в каждую страницу, которую нужно неиндексировать, метатег robots: <META name="ROBOTS" content="noindex, nofollow">.

Второй вариант более действенный.

вы предлагаете прописать закрытие 40 000 страниц в роботс ? это ведь не так уж и просто ...

Если выдает ошибки, значит он уже знает, что этих страниц нет.

Если выдает ошибки, то он сообщает вам, чтобы вы, как вебмастер могли принять меры, в случае если это исчезновение произошло без вашего ведома.

Если выдает ошибки и они должны там быть, значит всё в порядке и можно идти спокойно спать, со временем всё пропадет.

Никаких фильтров за удаление страниц нет.

При наличии общего в урле страниц это не так уж и сложно.

Можно удалить каталог со всеми ненужными url через панель WMT при условии запрета данного каталога, к примеру в роботсе.тхт. Я так удалил все стр. с тегами /tag/. За пару дней с индекса исчезли, а так висели месяцами, хоть и были запрещены в том же роботсе.

Жаль нельзя так удалить мусорные страницы с параметрами.

Плевать хотел гугль что на первый, что на второй вариант, как показывает практика.Как индикатор не индексировать этот контент - да, как прямой запрет - нет. Так что лучше не отдавать никакой контент, который гуглю не нужен. Спокойнее будет.

Спасибо за советы просто я слышал что алгоритм панда может блочнуть за паленные страницы сайта .