Удаление устаревших страниц

Есть примеры и под 200К, получается все в разных условиях?

Адреса страниц не переделывали, в этом случае действительно Moved Permanently пришлась бы кстати. Ситуация возникла когда пришлось одномоментно удалить устаревшую информацию, где-то около 20К. Роботс не поможет, повторюсь.

Если урлы страниц однотипные, как в вашем случае, site.ru/itemN.html - просто пропишите в robots.txt:

Disallow: /item

и при удалении URLа (http://www.site/item) укажите, что надо удалить все урлы, начинающиеся на item

P.S.: Слеш в конце урла ставится тогда, когда запрещается индексация директории. :)

Предполагаю, что ограничение такое же как и на макс. размер индексируемых страниц. Написал в Яндекс по поводу размера robots.txt.

А мысль тоже неплохая, то есть не просто выкладывать нагенеренные адреса, а пачками генерить их прямо в роботс, автоматизировать процесс.

Причем это будет легальный способ удаления, хоть и не такой быстрый как автоматический вызов http://webmaster.yandex.ru/delurl.xml Тогда, по идее, надо еще засекать обращения робота Я к robots.txt, чтоб обновлять список запрещенных адресов.

Я так мыслю, что яндексу достаточно 1 раз обратиться к роботс, чтобы увидеть запрещенные страницы. От апа до апа смотрите, если выпло столько страниц, сколько вы запретили - обновляйте роботс. :)

Но, нужно ли оно вам вообще? :)

Я бы честно говоря просто вынес бы сайт через форму целиком, предварительно прописав в роботсе

Disallow: /

А после апдейта тут же добавил бы его на индексацию заново

Evgenich,

с такой скоростью индексации, как сейчас, эти 100к страниц будут индексирвоаться месяцев 6, имхо

Редиректом посетителей с этих страниц гоните на схожие по тематике и всё

Kokh,

А в чем незаконность? Эта форма для того и сделана - удалять несуществующие страницы. При полном редезайне сайта так и пришлось сделать - все старые страницы удалили, а прогой, или вручную - это не так существенно.