не поняла, установка метрики провоцирует рост трафика
Метрикой трафик обнаружился
когда блокал через robots.txt он иногда все равно закидывал их в индекс. "Проиндексирована не смотря на блокировку в robots.txt". А не видит noindex Тег. Потому что страницу не может просканировать. Бред получается
Нельзя проиндексировать страницу не загрузив
Я про ссылки в выдаче типа https://www.avito.ru/?q=%D0%BA%D0%BE%D0%BD%D0%B4%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%B5%D1%80%D1%8B
Шёл 2025 год, а Mozilla/5.0 (compatible; Linux x86_64; Mail.RU _Bot/2.0; + https://help.mail.ru/webmaster/indexing/robots) продолжает сканировать сайты с хостов
fetcher*-*.go.mail.ru
fetcher-fast*-*.p.mail.ru
Куда-то официально можно задать вопрос о этих ботах?