не поняла, установка метрики провоцирует рост трафика
Метрикой трафик обнаружился
когда блокал через robots.txt он иногда все равно закидывал их в индекс. "Проиндексирована не смотря на блокировку в robots.txt". А не видит noindex Тег. Потому что страницу не может просканировать. Бред получается
Нельзя проиндексировать страницу не загрузив
Я про ссылки в выдаче типа https://www.avito.ru/?q=%D0%BA%D0%BE%D0%BD%D0%B4%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%B5%D1%80%D1%8B
Шёл 2025 год, а Mozilla/5.0 (compatible; Linux x86_64; Mail.RU _Bot/2.0; + https://help.mail.ru/webmaster/indexing/robots) продолжает сканировать сайты с хостов
fetcher*-*.go.mail.ru
fetcher-fast*-*.p.mail.ru
Куда-то официально можно задать вопрос о этих ботах?
не поняла, установка метрики провоцирует рост трафика
Метрикой трафик обнаружился
а в ответ получит выжимку из большого кол-ва источников
когда блокал через robots.txt он иногда все равно закидывал их в индекс. "Проиндексирована не смотря на блокировку в robots.txt". А не видит noindex Тег. Потому что страницу не может просканировать. Бред получается
Нельзя проиндексировать страницу не загрузив
Попробую поискать конечно, но похоже когда домен рф, а каталоги /catalog/ у меня так постоянно. Только в firefox.
А индексация результатов поиска по сайту уже не считается спамом, или Авито - это другое?
Я про ссылки в выдаче типа https://www.avito.ru/?q=%D0%BA%D0%BE%D0%BD%D0%B4%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%B5%D1%80%D1%8B
Шёл 2025 год, а Mozilla/5.0 (compatible; Linux x86_64; Mail.RU _Bot/2.0; + https://help.mail.ru/webmaster/indexing/robots) продолжает сканировать сайты с хостов
fetcher*-*.go.mail.ru
fetcher-fast*-*.p.mail.ru
Куда-то официально можно задать вопрос о этих ботах?