Подскажите стоит ли блокировать бота DotBot ? Запись из журнала:
186.2.167.4 - - [11/Jan/2024:17:47:52 +0300] "GET /robots.txt HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"
Айпи бота от DDOS Guard, мой сайт подключен к их сервису
Не только на главную, разные страницы смотрят. Они смотрят товары которых в наличии нет и они скрыты из каталога, т.е. живые пользователи эти товары не видят.
Вот запись из журнала:
45.11.95.48 - - [09/Jan/2024:07:24:02 +0300] "GET /?utm_source=yandex&utm_medium=rtb-cpm&utm_campaign=39036208&utm_content=52439666_jjf8p1&utm_term=7zo6r4y HTTP/1.0" 200 121509 "https://yandex.ru/" "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36"
UTM метки не мои, определяет как переход по рекламе которой у меня нет
У кого нибудь идут боты из этих подсетей? Стоит ли полностью блокировать всю подсеть?
примеры:
Насколько эффективно блокировать ботов через User Agent ? Хостер советует блокировать через него. В статистике куча запросов вот с такими User Agent :
Mozilla/5.0 (Linux; arm_64; Android 11; Mi A3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.5993.98 YaBrowser/23.11.5.98.00 SA/3 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36
Да, у меня тоже на одном сайте такое было. Бот вводить имя в поиск смотрит результаты поиска, далее опять имя вводит.
Это такие сценарии нагула, чтобы активность в метрике накрутить.
На моем сайте это может негативно сказаться? Или поисковикам все равно кто и что там вводит?
У меня они именно этим и заняты. Смотрят по 2-3 страницы, отказа нет, на сайте по 3-4 минуты сидят. Скрин во вложении. Бот зачем то ввел в строку поиска по товарам слово "Тимофей". Тыкают на страницы которые обычным людям не видны, например на скрине раздел Быстрая доставка доступен только с декстопной версии сайта, а бот с мобилки.
Такая же беда, те же самые даты начала атаки, по описанию на 100% мой случай. Могу написать, что я делал. Но мне пару дней назад МПК пришёл на сайт. Хоть сотрудники Яндекса заявляют, что это не связано, видимо, все же связано. Фильтр словил сразу как начал блокировать ботов
Я ничего не делал. По IP в логах посмотрел, многие такие боты определяются как поисковые. Но теперь вообще непонятно сколько живых людей в день на сайте с поиска.
Мне главное чтобы это все не отразилось на моем сайте, боюсь попасть под санкции поисковиков. Вот ещё пример бота, тут почему то стоят UTM метки, хотя переход из поиска
Нашел вот такой запрос. Футболки такие у меня есть, это считай брендовый запрос, но все равно странно выглядит
