flacon2000, как Вы собираетесь отдавать 404 для существующих страниц? Тут только один вариант, закрыть все, что можно метатегом ноиндекс и ждать вылета из индекса. Специального инструмента удаления 50к+ страниц нет. Можно пачками только каталоги удалять и все.
Школьники сели за парты, и вместо компов, взялись за сотки. А на сотках, многие сайты просто не открываются или открываются так, что хочется просто закрыть. Вот и весь спад(для некоторых сайтов) :)
Rndom, он и будет показывать. Ведь, проверить не сможет? Я показывал уже пример своего старого сайта, которого нет с 2013(января) года. В индексе несколько страниц + ищется по тексту с страницы. Писал гуглерам "зачем такая ерунда в индексе". Безполезно :) В общем забил.
flacon2000, как Вы собираетесь отдавать 404 для существующих страниц? Тут только один вариант, закрыть все, что можно метатегом ноиндекс и ждать вылета из индекса. Специального инструмента удаления 50к+ страниц нет. Можно пачками только каталоги удалять и все.
Так же, запрещаете индексацию через роботс
Не заблуждайтесь и не вводите в заблуждение. Для гугла это не запретить индексацию, а только запретить сканирование.
На сайте обычно страница, а на странице ссылки. Вы про что имеете ввиду?
Школьники сели за парты, и вместо компов, взялись за сотки. А на сотках, многие сайты просто не открываются или открываются так, что хочется просто закрыть. Вот и весь спад(для некоторых сайтов) :)
Rndom, он и будет показывать. Ведь, проверить не сможет? Я показывал уже пример своего старого сайта, которого нет с 2013(января) года. В индексе несколько страниц + ищется по тексту с страницы. Писал гуглерам "зачем такая ерунда в индексе". Безполезно :) В общем забил.
можете тут продублировать?
в лс смотрите.
добавьте эти домены в disavow tool
Безполезно. Гугл не сможет их проверить. Он ждет страницу с контентом или 404. А как это он получит, если сайта уже вообще нет :)
если не был доступен, попадет в индекс, все верно
наверно поэтому, теперь перед сканированием роботс проверяется ботом. и если он поврежден или не доступен, то сайт не сканируется.
<meta name="googlebot" content="noindex">
и тогда сообщите о результатах
А я давал уже в одной из тем примеры. В аноснсе одной из видеовстреч с гуглом :)
Как такое возможно?
если она в роботс закрыта или страница не посещаема ботом(он просто не в курсе про метатеги).
Crawl-delay :
google считает ошибочными. Почему?
насколько я знаю, он этот параметр игнорирует.