Удаление устаревших страниц

за очень частое обращения Ваш IP могут забанить.

Да, собственно, и нет желания заспамить эту форму. Вопрос в том, применят ли санкции за автоматическое обращение. Определить, что обращаются не из браузера, думаю, не составит труда.

Если у адресов страниц общее начало, для их удаления надо использовать robots.txt.

Kokh, при слишком частом - принимает. А браузер и подделать можно.

Kokh, если страницы нет на Вашем сайте - то проблемы яндекса, как их удалять из своей базы устаревший хлам. Вам то что с того? Чем это мешает жить?

ps запрещать надо в роботс.

Это было бы слишком просто, придется эмулировать браузер :) Спасибо.

Например, мне мешает тем, что зачастую вместо новых страниц с тем же контентом, но другим адресом, Я не удаляет из индекса и выдает старые страницы с 404.

имхо, противозаконного в этом ничего нет ... и помочь Яндексу нужно

Дело в том, что Яндекс начал неохотно индексировать новые страницы, вот у меня и возникла мысль помочь ему "разгрузиться". Раньше он просто тысячами их глотал. Не знаю с чем это связано, есть какой-то лимит проиндексированных страниц, так сказать критическая масса для отдельно взятого сайта? В общем не знаю, насколько эта теория верна. Кроме того, ситуация когда пользователь видит 404, тоже не есть гут, хоть она (ошибка 404) и выдается правильно, с формой поиска по сайту.

Вы все правильно подметили. Есть лимит, и он как раз на уровне 100к страниц. Закрывайте не существующие страницы в robots.txt.

Тем не менее, скверно, что у вас образовалось такое кол-во несуществующих страниц. Когда вы переделывали сайт - надо было задуматься об этом до, а не после.

По хорошему надо переселять старые страницы на новые адреса с редиректом 301. И Яндекс постепенно будет их заменять на новые. И вам хорошо, и Яндексу зыко, и пользователю комфортно :)