flacon2000, как Вы собираетесь отдавать 404 для существующих страниц? Тут только один вариант, закрыть все, что можно метатегом ноиндекс и ждать вылета из индекса. Специального инструмента удаления 50к+ страниц нет. Можно пачками только каталоги удалять и все.
Не заблуждайтесь и не вводите в заблуждение. Для гугла это не запретить индексацию, а только запретить сканирование.
На сайте обычно страница, а на странице ссылки. Вы про что имеете ввиду?
Школьники сели за парты, и вместо компов, взялись за сотки. А на сотках, многие сайты просто не открываются или открываются так, что хочется просто закрыть. Вот и весь спад(для некоторых сайтов) :)
Rndom, он и будет показывать. Ведь, проверить не сможет? Я показывал уже пример своего старого сайта, которого нет с 2013(января) года. В индексе несколько страниц + ищется по тексту с страницы. Писал гуглерам "зачем такая ерунда в индексе". Безполезно :) В общем забил.
в лс смотрите.
Безполезно. Гугл не сможет их проверить. Он ждет страницу с контентом или 404. А как это он получит, если сайта уже вообще нет :)
наверно поэтому, теперь перед сканированием роботс проверяется ботом. и если он поврежден или не доступен, то сайт не сканируется.
А я давал уже в одной из тем примеры. В аноснсе одной из видеовстреч с гуглом :)
если она в роботс закрыта или страница не посещаема ботом(он просто не в курсе про метатеги).
насколько я знаю, он этот параметр игнорирует.
