И как в таком случае нужно закрывать 404-ю страницу от индексации?
Disallow: /404/
Или прописать ту ссылку, которая идет в выдаче? Но ведь есть еще большое количество таких ссылок, которые попадут под 404 ошибку (удалили множество страниц).
