Я про ссылки в выдаче типа https://www.avito.ru/?q=%D0%BA%D0%BE%D0%BD%D0%B4%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%B5%D1%80%D1%8B
Шёл 2025 год, а Mozilla/5.0 (compatible; Linux x86_64; Mail.RU _Bot/2.0; + https://help.mail.ru/webmaster/indexing/robots) продолжает сканировать сайты с хостов
fetcher*-*.go.mail.ru
fetcher-fast*-*.p.mail.ru
Куда-то официально можно задать вопрос о этих ботах?
На PHP не вариант сделать?
if (' ' . str_contains($_SERVER["REQUEST_URI"], ' /?')) { header($_SERVER['SERVER_PROTOCOL'] . ' 301'); header('Location: /'); exit();}
Меня полностью устраивает интернет начала нулевых со всеми его недостатками. А движок поисковика уже есть - Yacy.
Он ссылочное учитывает? PR?
Зато у ГПТ нет проблем и запутать не получилось