sagamorr

Рейтинг
235
Регистрация
12.10.2012
11
AfterWar #:

Список Known Bots - то что пропускает Cloudflare

ahrefs

Ahrefs SEO bot

apple

Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions

archive.org

Archive.org bots

baidu

Baidu search engine bots

better uptime

Bot for monitoring website uptime

bing

Bing search engine bots

feedbin

Feedbin.com bots

google

Google search engine bots

grapeshot

Grapeshot (Oracle) SEO bots

linkedin

LinkedIn bots

mail.ru

Mail.ru bots

naver

Naver (South Korean) search engine bots

pingdom

Pingdom.com monitoring bots

pinterest

Pinterest bots

seznam

Seznam search engine bots

sogou

Sogou search engine bots

uptimerobot

Uptime Robot monitoring bots

yahoo

Yahoo! search engine bots

yandex

Yandex search engine bots

***

Если правило  Allow - то Known Bots - зеленая галочка 

Если Block - серая

У меня правила в Firewall rules расположены в таком порядке

1. Что жестко блокировать (Block - конкретные Usera Agents которые никак нельзя пропускать) 

2. Что Обязательно пропускать (первым Known Bots а дальше feedburner, pinterest, facebook и т.д.) 

3. Что пропускать через JS проверку ( все подозрительно и идущее через http/1.0 и 1.1, запросы к админке и т.п.)

ТО ЧТО ИДЕТ ВВЕРХУ ПО ПРАВИЛАМ CLOUDFLARE ПРИОРИТЕТНЕЕ К ВЫПОЛНЕНИЮ - то есть если вверху разрешить known bots а внизу логически запретить - то по общему правилу он разрешит.

У меня после подключения cloudflare, пришел отчет от директа, что сайт не доступен.

В WAF первым стоит правило Known Bots и добавлено исключение для mail.ru, для них - Allow.

Может после 24 февраля в cloudflare решили убрать яндексовских ботов из Known Bots?

Или бот директа блокируется с включенным режимом Bot Fight Mode?

Подскажите кто знает.

sochi-russia #:

)), нет, все гораздо проще

Как избавились?
Kostushko #:

Проверил свой список IP (xxx заменил на 0 и проверил ip в xseo.in) - 90% это сети мегафона, остальное мтс/йота и прочие провайдеры интернета. Полагаю мобильные операторы это простой способ получить дополнительный внешний ip для ботоводов. Метрика, скорее всего, их не сможет отсеять, так как с этих же ip наверняка иногда ходят и реальные посетители.

Вот тут https://vc.ru/seo/203524-nakrutki-povedencheskih-faktorov-put-v-top-ili-v-ban автор, вроде в теме, и он тоже пишет про нашествие ботов из сетей мегафона:

"Аномальный рост трафика из «паленых» подсетей. Настоящей легендой рунета за 2020-й стали прокси Metropolitan branch of OJSC MegaFon."

Так что похоже это очень старая "тема", живет минимум 3 года и решения у нее все еще нет. А если тема живет, значит скорее всего хоть частично работает (владельцам сайтов этой ветки в минус, ботоводам в плюс), остается надеяться что массовое использование возможно эту тему и добьет.

У меня аномальный рост ботов практически на всех сайтах начался в ноябре 2022, просмотрел многие темы про ботов, создал много тем про ботов, отправлял кучу примеров в Яндекс Вебмастер, Метрику, Роману из яндекса тут на сайте. Думал, тогда, что ботов вот-вот пофиксят и это какая то аномалия.

Но теперь придерживаюсь мнения, что спасение утопающих - дело рук самих утопающих! Яндекс эту проблему откровенно игнорирует, поэтому бороться с ботами на сайте должен сам вебмастер.

Тут много "персонажей" доказывают с пеной у рта, то, что с ботами никак бороться не нужно и на ранжирование вашего сайта прогревающие боты не влияют. Но это все сознательное введение в заблуждение, т.к после нагона ботов на сайт, за 1-2 недели позиции все в хлам улетают. Пишут они такое потому, что сами зарабатывают на накрутках.

Если хотя бы 50% вебмастеров начнут хоть как то бороться с ботами (прятать метрику, шифровать ее код, показывать только после определенных действий, блокировать спам по рефереру и тд), то работы у ботоводов в десятки раз прибавится.

Раз Яндекс на протяжении нескольких лет никак с ботами не боролся, то после реорганизации и подавно ничего делать не будут, им сейчас самое главное, что существующие сервисы работать не перестали (на мой субъективный взгляд, за последние пол года все у них стало работать через ж.пу, а как кинули клиентов из Яндекс телефонии, вообще отдельная тема). Так, что остается вебмастерам придумать более-менее универсальное решение, которое создаст дополнительную нагрузку накрутчикам, удорожая их работу.

Ali93 #:

У меня всегда растянуто по времени, капают потихоньку. А вот за сутки также в среднем 500 на каждом сайте. 

Да, так же, около 500 в течении суток равномерно.
Mik Foxi #:

никто массово с яндекса не уйдет. потому что идти теперь уже некуда. да и люди слишком инертны, даже когда всем будет что там не лучше чем в тизерках боты - все равно будут идти с мыслью а вдруг мне ботов не нальют, а вдруг они уже исправили и там нету ботов...

Не согласен, с каждым месяцем стоимость конверсий возрастает и еще учитывая, что половину из них боты делают. У меня один клиент уже на 70% бюджет на директ сократил.

Даже и без гугла есть другие источники привлечения клиентов в интернете. Для товаров - это маркетплейсы, для услуг авито, профи.ру и тд.

nkaado #:

Если РСЯ на сайта ставишь, он тебе в Метрику подцепляет еще один счетчик на этот же домен.

До последнего всплеска ботов, все эти боты были видны в вебвизоре и я их по IP закрывал. И liveinternet их видел. А теперь х.з., что там эти ботоводы напридумали. Буду копать внешнюю стату и логи. Хотя CTR в РСЯ ни туда, ни сюда не сдвинулся, но такого мутного трафа нафиг не нать.

Там же динамические IP, бесполезно так банить...

Вот эта штука хорошо помогла - https://tools.pixelplus.ru/news/skript-zashchity-ot-botov-2

Но какой то % пользователей такого окна может испугаться и сайт закрыть.

nkaado #:

У меня ситуация с ботами поменялась. В вебвизоре они не отображаются, liveinternet их тоже не видит, счетчик РСЯ не видит, а вот обычная метрика выдает по 400-500 прямых заходов. В вебвизоре конечно есть прямые заходы, но за сутки их всего 20-30 штук. До этого блокировал IP по пустому рефереру. А теперь в вебвизоре их нет. Как с ними бороться?


Что за счетчик РСЯ?

Странно, у меня почти все прямые заходы ботов отображаются в вебизоре.

Антоний Казанский #:

Увы, Яндекс формально лишь конкретное бизнес лицо с конкретными бизнес интересами. 

Вы можете отказаться от Яндекс в пользу Гугл поисковика и принципиально не пересекаться с Яндексом никак.


Вы определённо преувеличиваете их роль. 

У нас же пост про Яндекс Метрику, Директ и выдачу Яндекса, которую накручивают ботами.

Разве все это не в их компетенции? Причем тут гугл? Такая туча ботов только благодаря Яндексу появилась.

Антоний Казанский #:
Нет никаких "если". Есть мошенники, которые пользуются доверием одиноких пожилых и наивных граждан и есть соц. служба у которых и без мошенников проблем хватает. На качество работы работников соц. службы это никак не повлияет и они точно также продолжат делать свою работу как и раньше.

В нашем случае Яндекс не только соц служба, но и все (условно) силовые и гос. структуры в одном лице. На их усмотрение какой трафик фильтровать, а какой нет.

Если в прямых заходах они наверное на 100% ботов отфильтровать не могут, то этот спам с подменой реферерра легко можно вычистить. Никакой пользы кроме информационного мусора от него нет.

Антоний Казанский #:

Лично я его не поддерживаю, потому как считаю, что напротив эта ситуация дискредитирует Яндекс, создаёт паразитную нагрузку и избыточный шум, раскручивая маховик центробежных сил для сервисов Яндекса, ибо объёмы имитированного трафика только растут.

Их это дискредитирует только в среде вебмастеров, маркетологов и тд, а на их мнение они уже давно забили. Руководство интересуют только квартальные отчеты и рост финансовых показателей.

Ботов Яндекса очень хорошо видно на стратегиях с оплатой за конверсии в РСЯ. На моем примере, условно: из 500 показов, сразу 12 кликов и 5 конверсий. Понятное дело, что это просто клик бота по телефону и звонка никакого нет, то для Яндекса - это конверсия, поэтому можно списать деньги. До этого кампания работала на стратегии ручного управления ставками и после изменения стратегии начались такие вот приколы. Никому кроме самого Яндекса не было известно в какой момент изменилась стратегия.

У многих тут еще более странные вещи происходят с директом при оплате за конверсии.

Всего: 1952