"У него был триппер, а потом пропал". Ⓒ Да я понял, что забалтывать уводить тему в сторону вы умеете. Все время вспоминая те гральные начальные неск строчек с VC. Просто ничего другого лично вы и не видели, поэтому и льете воду.
Для всех остальных еще раз повторю. Волшебных методов не бывает, но если подходить комплексно, то вполне реально зацепить подрезать и то, что вроде как напрямую не подрезать.
Забалтываете как раз вы, т.к я и другие форумчане попросили у вас выложить пример правила или описать логику блокировки.
У вас просто нет решения, поэтому вместо конкретного ответа - вы льете воду про паттерны и супер секретные настройки, наработанные годами.
GuruSite24#: Очень удобно обсуждать / осуждать то, чего в глаза не видели, на своем собственном неудачном опыте. Готовые наборы правил вам никто не выложит, так что намеки на метод "не верю, покажи" можете забыть, это только в детстве прокатывает.
Что вы тогда на этом форуме спамите? Покупайте себе коммерческую ветку и там расхваливайте свои супер рабочие методы.
Как вариант - смотреть логи посещений сервера, сравнивать по времени с метрикой, определять айпи и подсеть откуда заход по конкретному переходу якобы с сайта, чтобы вычислить паттерн.
Я писал выше, что по IP и AS num такие визиты не вычистить, т.к сети и IP могут быть какие угодно.
Требовать конкретное волшебное решение, на конкретный случай - глупо. Я вроде четко показал, что все возможно, если подходить к вопросу в комплексе.
В смысле требовать волшебное решение? Вы же в этой ветке написали, что знаете рабочий способ.
Показал четко - это графики метрики? У меня тоже был наплыв трафика с переходов по ссылкам 2-3 мес, потом сам пропал. Так, что такие графики могу и я выложить.
Пока вы никого конкретного решения не предложили, уверен что у вас его нет.
Просто пытаетесь в очередной раз прорекламировать свою платную услугу по настройке CF, которая ничем не отличается от инструкция, которая есть на vc.ru
Если совсем вкратце, то баним и фильтруем все то, что здесь и так обсуждается в теме. Только в более расширенном составе, не отдельными несвязанными кусочками. Не 5-10 строчек, как когда-то было на VC и преподносится обычно прямо как Грааль, а 150.
- сканеры, парсеры, спамеры и проч, в том числе то что пропускает клауд через белый список, но в наших широтах не нужно - все что имеет поддельный юзерагент, включая тех кто притворяется ботами поисковиков - все что обращается туда, куда человек не обращается - все что выходит за паттерн запроса человеком - явные (битерика энд компани) и неявные подсети, хостеры и проч - явные боты - различные ддос паттерны атак
Сами паттерны, естественно, нарабатываются только практикой решения той или иной задачки, для разных цмс, плюс постоянно появляется/добавляется что-то новое, по мере развития боторынка. Который растет не по дням, а по часам.
Ну и опять же, на графике четко видно, что и поиск можно подрихтовать. Припали не только прямые заходы, реферальные заходы, но и та часть что через поиск пробирается. Это не подсовывая людям капчу. Остальное дошлифовывается до устраивающего результата более тонкой настройкой. С изучением логов сервера и метрики, логов клауда.
Юзер агенты у ботов такие же как у живых пользователей, AS сети тоже могут быть какие угодно, запросы тоже как правило - просто url страницы без доп атрибутов.
Для фильтрации-блокировки прямых заходов проверяют пустого реферера.
Для фильтрации реф спама (который определятся в метрике Другая реклама: определено по меткам) нужно проверять URI на вхождение utm.
Если знаете как бороться с ботами, у которых поддельный сайт в реферере - напишите что то конкретное.
И будет не рабочее. Это сбивается не специально нацеленными на рефспам правилами, а комплексом различных фильтров, в целом против ботов. Естественно, есть основное ядро правил, а есть постоянно дорабатываемые строчки в них, которые добавляются по мере развития боторынка. Задумывался как-то на эту тему, почему оно работает и какое из правил режет рефспам. Потом плюнул - работает и работает.
Если на сайт прут боты с поддельными реферами, то как остальной набор правил поможет отфильтровать данный тафик?
Напишите правило или опишите принцип по которому вы блокируете-фильтруете спам переходы, в которых реферальный сайт подделывается. (В метрике такой трафик в переходы по ссылкам попадает).
TheVS#: Все заблокированные прямые заходы и заходы по несуществующим ссылкам заменяются заходами с Яндекса, которые без его участия невозможно распознать.
Как я это понял? Есть сайт с учебными материалами по специфичной технике, которой 15-20 лет, на данный момент она совершенно точно не используется из-за устаревания и отсутствия расходников. Т.е. вероятность того, что ее будут искать по точным запросам нулевой. Таких страниц десятки, за месяц они набирают сотни переходов с Яндекса. Если отключить все блокировки, то отлично видно, что бот делает прямой заход на такую никому не нужную страницу, а через несколько десятков секунд на нее следует заход с поиска по вполне осмысленному запросу, причем в половине случаев из сетей, которые в массовом спаме не замечены.
Т.е. даже думая, что вы все очистили может оказаться, что ботов у вас больше, чем реальных людей.
Я протестировал cf почти на 20 сайтах, и в моем случае стандартные методы не помогли ни разу. Хоть какой-то эффект есть на молодых сайтах с низкими показателями, на сайтах старше 10 лет заходящих с Яндекса ботов минимум 20%. На вышеупомянутом сайте по устаревшей технике стабильно больше 90%, хотя внешне кажется, что около 0. Интересно, что Яндекс метрика видит, что это боты, но ничего с этим не делает.
Бред... Вы хотите сказать, что на 20 сайтах, после блокировки-фильтрации прямых заходов, это количество ушло в переходы с поиска Яндекса?
У меня на одном из сайтов до установки CF, прямых заходов было по количеству столько же сколько с поиска и так на протяжении нескольких месяцев. После фильтрации через CF, прямые ушли, остался только трафик из поиска.
Я в managed Challenge отправил: (http.request.uri contains "utm")
В CF знаю как блокировать, я писал про htaccess.
Кстати лучше сразу в правило где Block отправляйте такие переходы, т.к половина пройдут Managed challenge и окажутся во внутренних переходах.
"У него был триппер, а потом пропал". Ⓒ
Да я понял, что забалтывать уводить тему в сторону вы умеете. Все время вспоминая те гральные начальные неск строчек с VC. Просто ничего другого лично вы и не видели, поэтому и льете воду.
Для всех остальных еще раз повторю. Волшебных методов не бывает, но если подходить комплексно, то вполне реально зацепить подрезать и то, что вроде как напрямую не подрезать.
Забалтываете как раз вы, т.к я и другие форумчане попросили у вас выложить пример правила или описать логику блокировки.
У вас просто нет решения, поэтому вместо конкретного ответа - вы льете воду про паттерны и супер секретные настройки, наработанные годами.Очень удобно обсуждать / осуждать то, чего в глаза не видели, на своем собственном неудачном опыте.
Готовые наборы правил вам никто не выложит, так что намеки на метод "не верю, покажи" можете забыть, это только в детстве прокатывает.
Что вы тогда на этом форуме спамите? Покупайте себе коммерческую ветку и там расхваливайте свои супер рабочие методы.
Не вводите в заблуждение. Рефспам отдельно в метрике - переходы с сайтов.
А что я не так написал? Поддельные utm метки - это не рекламный реферер?
Как вариант - смотреть логи посещений сервера, сравнивать по времени с метрикой, определять айпи и подсеть откуда заход по конкретному переходу якобы с сайта, чтобы вычислить паттерн.
Я писал выше, что по IP и AS num такие визиты не вычистить, т.к сети и IP могут быть какие угодно.
Требовать конкретное волшебное решение, на конкретный случай - глупо.
Я вроде четко показал, что все возможно, если подходить к вопросу в комплексе.
В смысле требовать волшебное решение? Вы же в этой ветке написали, что знаете рабочий способ.
Показал четко - это графики метрики? У меня тоже был наплыв трафика с переходов по ссылкам 2-3 мес, потом сам пропал. Так, что такие графики могу и я выложить.
Пока вы никого конкретного решения не предложили, уверен что у вас его нет.
Просто пытаетесь в очередной раз прорекламировать свою платную услугу по настройке CF, которая ничем не отличается от инструкция, которая есть на vc.ru
Я писал вот про такие случаи. Ну или когда пустой юзерагент, либо юзерагент из списка автоматических запросов, наподобие Wpscan или Screaming Frog.
Если совсем вкратце, то баним и фильтруем все то, что здесь и так обсуждается в теме. Только в более расширенном составе, не отдельными несвязанными кусочками. Не 5-10 строчек, как когда-то было на VC и преподносится обычно прямо как Грааль, а 150.
- сканеры, парсеры, спамеры и проч, в том числе то что пропускает клауд через белый список, но в наших широтах не нужно
- все что имеет поддельный юзерагент, включая тех кто притворяется ботами поисковиков
- все что обращается туда, куда человек не обращается
- все что выходит за паттерн запроса человеком
- явные (битерика энд компани) и неявные подсети, хостеры и проч
- явные боты
- различные ддос паттерны атак
Сами паттерны, естественно, нарабатываются только практикой решения той или иной задачки, для разных цмс, плюс постоянно появляется/добавляется что-то новое, по мере развития боторынка. Который растет не по дням, а по часам.
Ну и опять же, на графике четко видно, что и поиск можно подрихтовать. Припали не только прямые заходы, реферальные заходы, но и та часть что через поиск пробирается. Это не подсовывая людям капчу.
Остальное дошлифовывается до устраивающего результата более тонкой настройкой. С изучением логов сервера и метрики, логов клауда.
Юзер агенты у ботов такие же как у живых пользователей, AS сети тоже могут быть какие угодно, запросы тоже как правило - просто url страницы без доп атрибутов.
Для фильтрации-блокировки прямых заходов проверяют пустого реферера.
Для фильтрации реф спама (который определятся в метрике Другая реклама: определено по меткам) нужно проверять URI на вхождение utm.
Если знаете как бороться с ботами, у которых поддельный сайт в реферере - напишите что то конкретное.
А то пока просто воду льете.
И будет не рабочее. Это сбивается не специально нацеленными на рефспам правилами, а комплексом различных фильтров, в целом против ботов. Естественно, есть основное ядро правил, а есть постоянно дорабатываемые строчки в них, которые добавляются по мере развития боторынка. Задумывался как-то на эту тему, почему оно работает и какое из правил режет рефспам. Потом плюнул - работает и работает.
Если на сайт прут боты с поддельными реферами, то как остальной набор правил поможет отфильтровать данный тафик?
Напишите правило или опишите принцип по которому вы блокируете-фильтруете спам переходы, в которых реферальный сайт подделывается. (В метрике такой трафик в переходы по ссылкам попадает).
Народ подскажите как блокировать реф спам через htacces?
Переходы, которые в метрике определяются - Другая реклама: определено по меткам
Многие писали вот такое правило, но оно не работает:
RewriteCond %{QUERY_STRING} utm [NC]Пишу сюда, т.к в тематической ветке никто не ответил.RewriteRule (.*) $1? [R=301,L]
Серьезно?
Решения, естественно, есть.
Все заблокированные прямые заходы и заходы по несуществующим ссылкам заменяются заходами с Яндекса, которые без его участия невозможно распознать.
Бред... Вы хотите сказать, что на 20 сайтах, после блокировки-фильтрации прямых заходов, это количество ушло в переходы с поиска Яндекса?
У меня на одном из сайтов до установки CF, прямых заходов было по количеству столько же сколько с поиска и так на протяжении нескольких месяцев. После фильтрации через CF, прямые ушли, остался только трафик из поиска.