Kostushko

Рейтинг
115
Регистрация
31.03.2008
nikenike #:
А могут боты посылать в метрику данные напрямую, а то в метрике вижу IP сети, а на сервере нет?

Могут, 100%, у меня так же.

Проверял, по разному фильтровал логи, вывод: многих типичных ip с которых заходят боты вообще нет в логах, например нет куска ip 188.168.136 (в метрике 188.168.136.xxx), с которого пришло около 500 ботов за последние две недели, нет 188.244.132 с него пришло около 200 ботов и прочих... если все куски ip поискать - то да, некоторые из ботовских ip без последней цифры находятся в логах, но тут просто проблема в том что ip не полный.

Если отфильтровать 3 дня логов по входам на главную (боты идут на главную), то в логах всего ~800 строк, при этом по метрике их было 1500+, а логи учитывают всякие парсеры, которые на главной буквально живут. Т.е. ботов в метрике точно больше чем реальных заходов на сайт и значит боты в любом случае напрямую спамят метрику.

Если в метрике этих ботов помечать (в разделе посетители и клиенты) - то они якобы не повторяются, т.е. метрика их не узнает, это получается каждый раз свежие профили, у метрики нет возможности забанить их по какой-бы то ни было истории посещений.

Добавлю еще - cloudflare,  antibot и прочее подобное не используется, логи сервера - это полные логи, без каких-либо исключений. Так что раз боты физически не приходят на сервер то и забанить их при всем желании не получится.

Думаю ботовод сейчас сформировал базу профилей, потому что 500 прямых заходов за две минуты не могут быть частью этапа прокликивания конкурентов в выдаче, так как все 500 заходов одномоментно на клиентских сайтах ему не нужны.

юни #:

Вас сайт не зарегистрирован в Метрике или она просто стоит не на всех страницах?

Если второе, то не очень понятна причина. Как минимум, такой подход создаёт простор для описанных Вами злоупотреблений.

Метрика подгружается в отдельном js скрипте, скрипт в свою очередь подгружается на всех html страницах. Просто в предложении sagamorr шифровать и прятать метрику была бы логика, если бы id счетчика для дальнейшего спама ботами брался из html сайта, но если боты анализируют запросы выполненые внутренними js скриптами сайта - то спрятать метрику невозможно.

sagamorr #:
Если хотя бы 50% вебмастеров начнут хоть как то бороться с ботами (прятать метрику, шифровать ее код, показывать только после определенных действий, блокировать спам по рефереру и тд), то работы у ботоводов в десятки раз прибавится.

У меня метрики в коде html страницы не было, она подгружалась в отдельном скрипте, причем малость модифицированном. Как её спрячешь если она делает прямой запрос к  https://mc.yandex.ru/watch/{ID сайта} при загрузке любой страницы? Скорее всего софт ботоводов для первичного парсинга ID метрики заходит на страницу и смотрит на какой url отправляется отчет. Получается как-то там шифровать сам id сайта в метрике бесполезно, максимум можно отложить загрузку метрики на 20-40 секунд, отсеяв из отчетов навсегда часть реального трафика с малым временем на странице.

nkaado #:
У меня те же самые подсети. Вот самые ходовые:

Проверил свой список IP (xxx заменил на 0 и проверил ip в xseo.in) - 90% это сети мегафона, остальное мтс/йота и прочие провайдеры интернета. Полагаю мобильные операторы это простой способ получить дополнительный внешний ip для ботоводов. Метрика, скорее всего, их не сможет отсеять, так как с этих же ip наверняка иногда ходят и реальные посетители.

Вот тут https://vc.ru/seo/203524-nakrutki-povedencheskih-faktorov-put-v-top-ili-v-ban автор, вроде в теме, и он тоже пишет про нашествие ботов из сетей мегафона:

"Аномальный рост трафика из «паленых» подсетей. Настоящей легендой рунета за 2020-й стали прокси Metropolitan branch of OJSC MegaFon."

Так что похоже это очень старая "тема", живет минимум 3 года и решения у нее все еще нет. А если тема живет, значит скорее всего хоть частично работает (владельцам сайтов этой ветки в минус, ботоводам в плюс), остается надеяться что массовое использование возможно эту тему и добьет.
Mik Foxi #:
но в основном обычная россия. занить всех нельзя.

Этих ip нет в логах сервера, их при всем желании не получится забанить. Может там софт какой и заходил один раз на сайт но скорее всего шлется просто инфа в метрику, по тысячам сайтов и чтобы оптимизировать процесс сайты реально не грузятся.

Их можно только отфильтровать в метрике, либо исключив прямые переходы или добавив какую-то автоматически выполняющуюся цель и создать сегмент по этой цели - эти боты отфильтруются, так как на сайт не заходят.

sochi-russia #:
Я вижу здесь айпишники ботов Яндекса

Метрика не позволяет на 100% отфильтровать этих ботов, возможны незначительные перекосы, возможно в эту выборку и попал один из ip бота яндекса, но в основной массе это ip обычных домашних провайдеров интернета домклик, ттк и прочих.

Артемий #:
Покажите пожалуйста подсети, из которых идут заходы в это время (можно в ЛС), для этого зайдите в отчет "Источники, сводка", уберите группировку "Источник трафика (детально)" и выберите "IP-адрес" в разделе "Технологии".

Вот список "подсетей" за примерно 16 дней, в которые шли боты:

IP-адрес Просмотры Посетители
Итого и средние 6065 6064
188.168.136.xxx 435 435
188.244.132.xxx 139 139
188.187.70.xxx 126 126
188.187.68.xxx 121 121
188.187.69.xxx 112 112
188.187.71.xxx 98 98
46.72.135.xxx 82 81
5.43.241.xxx 76 76
5.43.240.xxx 67 67
188.168.248.xxx 66 66
46.72.140.xxx 61 61
92.255.128.xxx 57 57
5.166.216.xxx 56 56
176.195.55.xxx 55 55
92.255.130.xxx 54 54
213.137.245.xxx 51 51
46.187.50.xxx 51 51
80.92.25.xxx 49 49
94.180.26.xxx 49 49
188.233.8.xxx 48 48
176.195.57.xxx 47 47
46.72.136.xxx 47 47
176.195.58.xxx 46 46
83.220.237.xxx 44 44
176.193.32.xxx 42 42
83.220.236.xxx 42 42
176.195.56.xxx 41 41
188.233.16.xxx 41 41
80.92.8.xxx 40 40
83.220.238.xxx 40 40
176.195.54.xxx 39 39
92.255.129.xxx 39 39
176.194.94.xxx 38 38
5.254.178.xxx 38 38
176.195.42.xxx 37 37
188.233.12.xxx 37 37
46.72.134.xxx 37 37
92.255.131.xxx 37 37
46.72.137.xxx 36 36
46.72.139.xxx 36 36
94.25.171.xxx 36 36
176.195.39.xxx 35 35
176.195.59.xxx 35 35
176.212.108.xxx 35 35
91.193.176.xxx 35 35
94.25.170.xxx 35 35
46.72.138.xxx 34 34
91.193.178.xxx 34 34
91.193.179.xxx 34 34
94.25.173.xxx 34 34
176.195.253.xxx 33 33
176.195.41.xxx 33 33
188.233.0.xxx 33 33
94.25.168.xxx 33 33
94.25.172.xxx 33 33
46.187.51.xxx 32 32
46.72.143.xxx 32 32
5.165.3.xxx 32 32
91.193.177.xxx 32 32
176.195.44.xxx 31 31
46.187.49.xxx 31 31
46.187.54.xxx 31 31
83.220.239.xxx 31 31
176.195.35.xxx 30 30
213.232.207.xxx 30 30
176.193.40.xxx 29 29
5.166.32.xxx 29 29
94.180.25.xxx 29 29
176.195.36.xxx 28 28
94.180.24.xxx 28 28
94.25.174.xxx 28 28
176.212.104.xxx 27 27
188.234.196.xxx 27 27
5.165.0.xxx 27 27
94.25.175.xxx 27 27
176.215.230.xxx 26 26
176.195.63.xxx 25 25
178.176.76.xxx 25 25
46.72.133.xxx 25 25
176.193.33.xxx 24 24
176.193.39.xxx 24 24
176.194.93.xxx 24 24
176.195.53.xxx 24 24
176.193.34.xxx 23 23
176.195.60.xxx 23 23
188.232.8.xxx 23 23
46.187.55.xxx 23 23
176.193.37.xxx 22 22
176.193.42.xxx 22 22
176.195.233.xxx 22 22
176.195.38.xxx 22 22
188.233.4.xxx 22 22
46.72.154.xxx 22 22
5.167.144.xxx 22 22
80.92.21.xxx 22 22
176.193.36.xxx 21 21
176.193.38.xxx 21 21
176.193.43.xxx 21 21
176.193.44.xxx 21 21
178.176.78.xxx 21 21
46.0.88.xxx 21 21
5.166.192.xxx 21 21
176.194.82.xxx 20 20
176.195.43.xxx 20 20
176.195.47.xxx 20 20
176.195.50.xxx 20 20
176.195.51.xxx 20 20
176.193.35.xxx 19 19
176.195.52.xxx 19 19
176.215.228.xxx 19 19
46.73.188.xxx 19 19
176.193.46.xxx 18 18
176.195.40.xxx 18 18
176.195.48.xxx 18 18
178.176.74.xxx 18 18
5.164.252.xxx 18 18
65.154.226.xxx 18 18
109.163.217.xxx 17 17
176.193.41.xxx 17 17
178.176.72.xxx 17 17
46.187.53.xxx 17 17
46.72.142.xxx 17 17
46.72.144.xxx 17 17
80.92.22.xxx 17 17
176.193.45.xxx 16 16
185.186.143.xxx 16 16
46.0.44.xxx 16 16
5.166.220.xxx 16 16
109.163.216.xxx 15 15
149.154.117.xxx 15 15
176.195.61.xxx 15 15
176.59.56.xxx 15 15
178.176.75.xxx 15 15
178.176.79.xxx 15 15
185.2.184.xxx 15 15
185.2.185.xxx 15 15
188.168.53.xxx 15 15
213.87.156.xxx 15 15
46.0.68.xxx 15 15
46.72.160.xxx 15 15
80.92.30.xxx 15 15
176.195.252.xxx 14 14
176.195.46.xxx 14 14
178.176.73.xxx 14 14
31.173.80.xxx 14 14
46.0.76.xxx 14 14
46.0.92.xxx 14 14
46.0.96.xxx 14 14
46.187.52.xxx 14 14
46.72.141.xxx 14 14
46.73.149.xxx 14 14
5.164.248.xxx 14 14
80.92.15.xxx 14 14
80.92.18.xxx 14 14
149.154.116.xxx 13 13
176.117.20.xxx 13 13
176.193.47.xxx 13 13
176.195.25.xxx 13 13
176.195.45.xxx 13 13
176.195.7.xxx 13 13
176.59.42.xxx 13 13
188.168.54.xxx 13 13
213.87.160.xxx 13 13
31.173.86.xxx 13 13
46.0.52.xxx 13 13
46.0.56.xxx 13 13
46.72.172.xxx 13 13
46.73.183.xxx 13 13
5.164.244.xxx 13 13
80.92.16.xxx 13 13
80.92.23.xxx 13 13
94.25.169.xxx 13 13
109.163.218.xxx 12 12
109.163.219.xxx 12 12
176.195.15.xxx 12 12
176.195.18.xxx 12 12
176.195.49.xxx 12 12
176.195.9.xxx 12 12
176.59.55.xxx 12 12
188.168.55.xxx 12 12
213.129.113.xxx 12 12
213.87.137.xxx 12 12
213.87.146.xxx 12 12
31.173.83.xxx 12 12
46.187.38.xxx 12 12
46.72.161.xxx 12 12
46.73.187.xxx 12 12
80.92.20.xxx 12 12
80.92.9.xxx 12 12
176.117.31.xxx 11 11
176.195.21.xxx 11 11
176.195.26.xxx 11 11
176.195.34.xxx 11 11
176.195.8.xxx 11 11
176.59.162.xxx 11 11
185.2.186.xxx 11 11
205.169.39.xxx 11 11
31.173.81.xxx 11 11
31.173.85.xxx 11 11
46.72.129.xxx 11 11
46.73.169.xxx 11 11
5.164.224.xxx 11 11
5.164.240.xxx 11 11
5.165.4.xxx 11 11
5.166.196.xxx 11 11
80.92.10.xxx 11 11
80.92.14.xxx 11 11
80.92.27.xxx 11 11
83.69.15.xxx 11 11
95.172.126.xxx 11 11
149.154.119.xxx 10 10
176.117.27.xxx 10 10
176.195.27.xxx 10 10
176.195.37.xxx 10 10
176.195.62.xxx 10 10
176.59.170.xxx 10 10
176.59.41.xxx 10 10
176.59.57.xxx 10 10
188.162.64.xxx 10 10
31.173.82.xxx 10 10
46.0.84.xxx 10 10
46.72.149.xxx 10 10
46.73.142.xxx 10 10
46.73.189.xxx 10 10
5.164.232.xxx 10 10
80.92.13.xxx 10 10
80.92.17.xxx 10 10
80.92.26.xxx 10 10

метрика


Тоже обнаружил ботов, приходят в одно время около 500 шт. прямые заходы на главную, все 500 шт. приходят в течении 2-3 минут, время проведенное на сайте 13-16 секунд, по страницам не ходят, почти все дни боты приходят в одно и то же время в 9:10, иногда в другое время. Видны только в метрике, гугл аналитика, логи сервера ничего подобного не показывают. Почти все визиты повторяются, так что видимо ботов в сетке не так уж и много.

Подскажите такой "трафик" может навредить позициям в яндексе? Гугл очевидно такой трафик не заметит. И как именно он используется теми кто отправляет ботов? Судя по другим сообщениям похоже что кто-то экспериментирует как таким трафиком вытеснять конкурентов.

Тоже столкнулся с такой же проблемой - "Сайт не соответствует Правилам участия в РСЯ по иным причинам".

Может быть РСЯ просто чистит сайты, чтобы снизить число площадок для размещения рекламы? Очевидно же что бизнес сейчас переживает не лучшие времена и площадок как бы с избытком, почистят все площадки, которые для них минимально доходны, потом потихоньку что-то примут обратно.

FuRReX #:
А каким образом через киви?

https://qiwi.com/payment/form/1717 - если тут в форму ввести счет  40807810600000005547 то дальше появляются остальные поля, если их заполнять то форма по крайней мере ни на что не ругается, будет комиссия 2%, пройдет или нет отправка не знаю, не проверял. Но там можно указать ФИО и прочие данные, хоть как-то идентифицирующие плательщика.

Всего: 111