Боты заходящие через прямые заходы и определяющиеся в метрике как люди

K
На сайте с 31.03.2008
Offline
115
#191
Mik Foxi #:
если вы на своем сайте не нашли ботов которые есть в метрике - тогда выкидывайте метрику с сайта и забываете о ней. зачем там та статистика, которая ботно не актуальная, и которая еще и вред приносит сайту.

Удалить метрику - это пока единственный вариант который должен сработать 100% - оставлю как запасной план. GA4 мне тоже очень не нравится, отчеты очень тормозные, страницы грузятся по 10 секунд, половины данных сходу нет в отчетах, приходится все настраивать, кривой перевод, не влезающие подписи и прочее-прочее, может допилят через год-полтора и можно будет использовать вместо метрики но не сейчас. Да и в целом метрика, для сайта получающего основной трафик с яндекса, разумна для анализа.

Роман Кузьминский
На сайте с 08.07.2022
Offline
138
#192
Kostushko #:

Сегодня создал обращение "к специалистам" в метрике - отправил им и ссылку на отчет и полный лог сервера за вчерашний день. Обещали ответить. Жду.

Если хотите могу продублировать ссылку на отчет, но думаю толку не будет, по поводу ботов впервые им писал 10-го марта - обещали ответить - до сих пор не ответили.

Пришлите мне, пожалуйста, номер вашего обращения в поддержку. Возьму его на контроль.

K
На сайте с 31.03.2008
Offline
115
#193
Роман Кузьминский #:
Пришлите мне, пожалуйста, номер вашего обращения в поддержку. Возьму его на контроль.

Написал в личку.

K
На сайте с 31.03.2008
Offline
115
#194
sagamorr #:
Вы можете сделать как вам предлагают или ждать помощи от Яндекса. Мои сайты боты начали долбить с ноябре, куда им только не писал, толку 0. Так что выбирайте сами вариант😁

Я вас понял, но не понимаю как банить ботов которых не видит сервер, вы уверены что сервер что-то пропускает, я считаю что нет. Если от метрики не будет ответа и действий - попробую побанить прямые заходы, добавив ip относящиеся к хорошим ботам в белый список, если это делать на коленке и наспех может забанится что-то важное, нужно накопить больше данных для анализа.

S
На сайте с 12.10.2012
Offline
208
#195
Kostushko #:

Я вас понял, но не понимаю как банить ботов которых не видит сервер, вы уверены что сервер что-то пропускает, я считаю что нет. Если от метрики не будет ответа и действий - попробую побанить прямые заходы, добавив ip относящиеся к хорошим ботам в белый список, если это делать на коленке и наспех может забанится что-то важное, нужно накопить больше данных для анализа.

Поставьте cloudflare и в WAF вот эти 2 правила создайте, ничего лишнего при этом не забаните. Ботов ПС будет пропускать, а остальным на прямые заходы будет проверка.

Если у вас после этого половина прямых заходов не пропадет, тогда ваша теория будет более правдоподобна.

png leonardo.osnova2.png
png leonardo.osnova.png
NM
На сайте с 18.02.2011
Offline
184
#196
Возник вопрос по настройкам cloudflare. Можно там как-то правила созданные для одного сайта реплицировать на другие? Не очень хочется заниматься ручной копипастой.
https://clck.ru/37jxNm пытаюсь здесь отбить просадку в РСЯ Распродажа сайтов https://docs.google.com/spreadsheets/d/1m63GJQUZMrrhTxT2aoAQBX_722Kte2PfvTQEON_SgGE/
K
На сайте с 31.03.2008
Offline
115
#197
sagamorr #:

Поставьте cloudflare и в WAF вот эти 2 правила создайте, ничего лишнего при этом не забаните. Ботов ПС будет пропускать, а остальным на прямые заходы будет проверка.

Если у вас после этого половина прямых заходов не пропадет, тогда ваша теория будет более правдоподобна.

Взял логи за 14 дней, выдернул все ip и "классифицировал" примерно 50% их по сетям (провайдер мобильный или нет, хостер, страна и т.п.). Ну обнаружил что иногда ходит допустим с мегафона бот и парсит контент, но у него реферер "https://google.ru" и заходы не на главную. Этих ботов можно побанить и есть идеи как это сделать средствами nginx и lua не доводя до php (сайт так работает что до php обычно не доходит nginx сразу отдает сжатую страницу). Согласен что эти правила в cloudflare могут отсечь других ботов, но не этих.

Вот пример бота от которого я хочу избавиться:


Он входит в группу, ботов которые долбят метрику напрямую:

боты

В логах с 8 по 21 марта нет этого ip (куска "188.187.68").

Понятно что боты разные бывают и одних можно банить по протоколам или рефереру, но я не поверю что cloudflare как-то поможет от ботов не появляющихся на сервере, раз сервер его не видит - значит и не забанит.

S
На сайте с 12.10.2012
Offline
208
#198
Kostushko #:
Понятно что боты разные бывают и одних можно банить по протоколам или рефереру, но я не поверю что cloudflare как-то поможет от ботов не появляющихся на сервере, раз сервер его не видит - значит и не забанит.

Если на самом деле есть такие боты, вряд ли они спамят только ваши счетчики. Я тут на форуме про такое не читал, если бы реально был массовый случай, то была бы уже новая тема с десятком страниц (про то, что боты спамят метрику напрямую, не заходя на сайт).

K
На сайте с 31.03.2008
Offline
115
#199
sagamorr #:
Если на самом деле есть такие боты, вряд ли они спамят только ваши счетчики. Я тут на форуме про такое не читал, если бы реально был массовый случай, то была бы уже новая тема с десятком страниц (про то, что боты спамят метрику напрямую, не заходя на сайт).

Конечно они спамят не только мои счетчики, и в этой теме уже отписалось пара человек с такими же "симптомами" ботов:

nkaado #:
Ковыряя дальше статистику заметил, что боты ходят на сайт строго в промежуток с 03-00 до 03-10. И сразу все 400-500 визитов. Потом весь день тишина. И так уже на протяжении двух недель. Но Вебвизор в этот промежуток времени никого не фиксирует. И в логах вебсервера ничего подозрительного и в таком количестве не видно.
nikenike #:
Просто в логах не вижу таких  IP, а по метрике есть много IP из этой сети ASN. Как так может быть?

А сколько еще не успело выяснить что ботов нет в логах?

Так что уж не говорите что не читали об этом на форуме, тем более люди в вашей же теме отписались.

G6
На сайте с 12.07.2007
Offline
170
#200
Kostushko #:

А сколько еще не успело выяснить что ботов нет в логах?

У меня такая ситуация, отписался в тп метрики, жду ответа.

Сделал отдельный лог по прямым заходам и некоторые манипуляции со счетчиком, кому и как показывать. В итоге логи пустые по части ботов.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий