olegon

Нет, с этим все понятно и, извините, это как раз в пользу бедных, потому, что я, когда что-то сканю, в первую очередь меняю юзерагента.

Речь исключительно про robots.txt, зачем там исключать черным списком, когда можно исключать белым?

От всех ботов, как и говорил, понимаю, что не избавлю.

Но, например, от тех, кто доку к httrack не читал - избавлю. Кроме того, журналы на случай разбора полетов с ботами будут почище. Если бот лезет поперек правил - это плохой, негодный бот.
Всякие Semrush, даже Мылру и Bing, которые сканят все мои страницы, но приводят меньше 10 пользователей в месяц, зато могут быть источником каких-то совсем ненужных мне исследований сайта или выбора его для парсинга...

Давайте детализирую.

Никто не говорит, что все боты сразу сбегут. Но есть те, которые слушаются, однако, на сайте не нужны.

Вопрос, наверное, больше к тем, кто пробовал или видит очевидную причину так не делать.

User-agent: Yandex
User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /

В смысле, что движок самописный? Похоже на то, поскольку нашел его только на еще одном сайте этого же владельца...

А этот форум на чем работает?

Записываюсь в страдальцы.

Получил МПК, траффик упал сначала на 2/3 и через 10 дней вырос ИКС :) Потом по Яндексу траффик упал вообще до 2-3 кликов, зато по Гуглу он резко вырос.

В саппорте подтвердили правильность работы бота и посоветовали развивать сайт... Кроме двух блоков РСЯ ничего нет. Код не менялся уже года три.

Спасибо, напишу в поддержку... У меня там
""

автоматизация в ритейле, трудно сказать, зачем я там еще РСЯ держу...

Простите, но в свете того, что на них стоит ссылка из РСЯ, они там есть и шевелятся, возникает очень много вопросов :) Лучше бы их было спрятать совсем, либо все же пояснить, как они считают.

А сейчас, получается, есть какой-то спидометр, но что показывает никто не сознается.

Если это действительно количество долистываний до низу страницы (или до баннеров), то это очень нужная штука... У меня баннер в самом низу (я жалею пользователей) и тогда 80% можно было бы объяснить...

Но подождите, мне бы очень хотелось понимать статистику именно по РСЯ-блокам.

Судя по всему, параметр все же колеблется и что-то значит. Что именно? 80% отрицательного - это явно что-то очень плохое...

Если это служебный параметр и счетчик, зачем он тогда предлагается к просмотру прямо в интерфейсе РСЯ, да и самой метрики?