Сотрудник Google Джон Мюллер заявил в Twitter, что блокировать сканирование страниц с ошибкой 404 – это «плохая идея», которая может повлечь за собой различные проблемы.
That sounds like a really bad idea which will cause all sorts of problems.. You can't avoid that Googlebot & all other search engines will run into 404s. Crawling always includes URLs that were previously seen to be 404.
— 🍌 John 🍌 (@JohnMu) 15 июля 2020 г.
Он также добавил, что каждый день Google сканирует «миллиарды» таких страниц.
«Это нормальная часть сети и правильный способ просигнализировать, что URL не существует. Это не то, что нужно (или можно) подавлять», - написал Мюллер.
Billions of 404 pages are crawled every day - it's a normal part of the web, it's the proper way to signal that a URL doesn't exist. That's not something you need to, or can, suppress.
— 🍌 John 🍌 (@JohnMu) 15 июля 2020 г.
Напомним, ранее Джон Мюллер объяснил, что что делать, если в Search Console много ошибок soft 404.
