юни#: Я больше работаю как раз с трафиком, а не с сайтами
Из вашего объяснения я понял, но я как раз предлагаю вариант применительно к конкретным проблемам сайта, а не к статистическим вероятностям на больших объемах трафика отдельной подсети.
юни#: Если в любом случае будет определяться профиль поведения, то отсеивать ботов нужно именно по нему, а не по провайдерам.
К сожалению, эффективных и доступных для простых пользователей программных способов правильно отличить один профиль поведения от другого и выявить - кто робот, а кто реальный пользователь, увы, нет.
Конкретные рабочие вводные - это массовые отказы из-за паразитного трафика и именно с этим признаком нам приходится бороться.
юни#: У меня вопрос был немного о другом - что делать с "паразитными IP" (в Вашей терминологии)?
Не давать ему пагубно влиять на рабочие показатели в Метрике.
юни#: Полагаю, что это бесполезно. Некоторые провайдеры маршрутизируют сети минимальными роутами /24, некоторые раздают интернет глобальными блоками, никак их не разбивая, но всё это значения не имеет. И модемные, и проводные пулы ротируются между реальными пользователями и автоматизированными системами нагона трафика безо всякого разбора.
Ну, послушайте, выше уже говорилось и не только мной - либо вы смотрите как паразитный траф валит сайт, позиции проваливаются и бизнес несёт серьёзные убытки, либо вы фильтруете эти вредоносные IP-шники и трафик от них уводите "на прокладки". Выше изложен вариант с поддоменом - здесь вообще можно не использовать капч и большая часть отказного трафика будет генерировать отказы на поддомене, тогда как в Метрику основного сайта они попадать не будут.
А вы попробуйте самостоятельно. Возьмите контрольный период до наплыва ботов. Отфильтруйте полезный трафик с сотовых IP. Дальше отсортируйте контрольную выборку так, чтобы отдельный IP был сначала с одним профилем, а потом с другим т.е. новый пользователь под тем же IP. Вот и посмотрите, сколько у вас будет новых пользователей перезашедших под ранее использованным IP. Сколько у вас таких будет? Суммируйте их. Вот и рассчитайте этот процент по отношению к общему трафику.
potapmec#: У меня есть один сайт, брошенный наглухо (с февраля сего года абсолютно ни каких работ), так вот на нем боты крутят мне ПФ в плюс
Аналогично недавно разбирал пример. Есть факт наплыва левого трафика, но общая картина такая, что отказы наоборот меньше :) поэтому я и говорю, что у каждого будет свой индивидуальный случай.
potapmec#: Здесь нужно выбирать, что для вас лучше: или у вас сайт остается в ТОПе и при этом теряется из 10 посетителей 3 (так как они, как и вы не готовы проходить капчу), или у вас сайт оказывается на третьей странице и посетителей вообще не будет (кроме ботов конечно же).
Совершенно верно!
potapmec#: Я же уже писал, не нужно тупо ставить гугловскую капчу, чтобы посетители кликали по гидрантам, светофорам и зебрам, Если включить фантазию, можно при выводе капчи добавить все что угодно, от самой простой, до анимации, и здесь опять же, если включить фантазию (в зависимости от тематики) можно сделать, чтобы не один реальный посетитель не ушел.
Именно! И выше я предложил вариант c "прокладкой" на поддомене. Большая часть ботов отказников - это несколько секунд онлайн, пару прокруток и выход. Реальный же человек осознанно пойдет по навигации. Таким образом, кстати, можно будет реально замерить кол-во зафильрованных живых пользователей без всяких капчей с рефером своего же поддомена.
Вариантов - масса, главное проявить творческую смекалку и начать хоть что-нибудь делать, а не сокрушаться по поводу тайных заговоров и теневом склике Яндекса своей же рекламы.
nirvanius#: 1. Для многих реальных пользователей это будет первичный заход, но Ваши алгоритмы могут воспринять их как паразитные, потому что ранее с этого же ip заходил бот.
Согласен. В этом есть слабое звено предложенного метода. Однако я в принципе не представляю себе решение, где будет корректное отделение имитации браузерных действий ботом и живым человеком. C участием живого наблюдателя - да, но программным способом - пока затрудняюсь даже представить себе это решение. Можно конечно анализировать паттерны, фиксировать геометрию перемещений, но это всё в той или иной допустимой погрешности. А вот чётко отделить пользователя от бота, которые например, только выполняют прокрутку страницы - здесь чётких возможностей не вижу.
Если уж Яндекс в настоящий момент не может корректно и точно выполнить эту задачу, то куда уж нам частным лицам.
nirvanius#: 2. Во многих сервисах и я ввожу капчу. Но, как правило, это уже знакомые и необходимые мне в данный момент сайты. Здесь же речь идет о поисковой выдаче и посетитель судит о сайте только по сниппету.
Согласен. Однако не стоит отметать возможность повторных заходов, где пользователь уже был на сайте.
nirvanius#: Как я уже упоминал выше, данная схема пригодна лишь тем, у кого основная доля целевых визитов десктопная и мобильной выдачей можно принебречь.
Отчасти - да, отчасти - чем удачнее и органичней будет решена проверочная страница, - её, к слову, можно вывести на отдельный поддомен без метрики, а потом навигационно возвращать живого пользователя на основной сайт. Посему, пространство для творческих решений здесь довольно обширное и для кого-то получится решить вопрос фильтрации без капчи.
nirvanius#: P. S. В спорах смысл есть и немалый)) я сам нередко признавал свою точку зрения ошибочной после анализа аргументированных доводов другой стороны. ;)
Я сам буду рад признать, если будет более полное и более удачное решение, но пока его нет. Пока я вижу старательное нагнетание мнения, что решения нет - с чем я решительно не согласен.
nirvanius#: Вот тут могу поспорить, потому как сам часть заказов и покупок оформляю со смартфона
Спорить действительно можно, я лично никаких ответственных покупок со смартфона не делаю и использую смартфон/планшет исключительно для информационного и навигационного серфинга.
Но спор - дело неблагодарное, я лишь ориентирую собственников сайтов и вебмастеров на то, чтобы знать свою ЦА и в зависимости от предпочтений выбирать ту или инфу стратегию в фильтрации паразитного бот трафика. Для кого-то подойдет фильтрация на уровне масок подсети, для кого-то это будет скрупулёзная ручная работа. Паразитный трафик разный и признаки у него разные, поэтому одного одинакового верного решения для всех здесь не будет, я даю лишь общее направление мысли, а там у каждого будут свою нюансы.
nirvanius#: если я со смартфона из поисковой выдачи перехожу на сайт, а он выкатывает капчу
"С чистого листа" при первичном заходе сайты капчи обычно не запрашивают. А вот поисковые системы, Ютуб в зависимости от частоты использования IP нередко просят капчу и подавляющее число пользователей их заполняет, потому что нужен доступ к сервисам. Такая же логика и здесь. Если пользователю в действительности нужен доступ, он подтвердит своё намерение получить информацию.
edishe#: Спасибо за разъяснения! Но это не решает проблемы, т.к. трафик идет совершенно с разных IP, тысячами, они никогда не дублируются, т.к. их генерят модемы в бешеном количестве. Тут желательно решение с новыми юзерами, а не создание блэк-списка.
Скажем так, модемы их не генерят, модемы используют лишь доступные в выделенной подсети диапозон рабочих IP-шников. Пробуйте от общего к частному - начинайте с фильтрации подсети.
Коммерческие сайты как правило хорошо знают свою ЦА и своих клиентов. Процент заказов с мобильных операторов у них как правило невысок. Мобильные заходы вообще чаще всего гостевые, но тут конечно зависит от тематики. Вы пробуйте, главное найти баланс в котором возможный паразитный трафик уже не оказывает пагубного влияния.
Я больше работаю как раз с трафиком, а не с сайтами
Из вашего объяснения я понял, но я как раз предлагаю вариант применительно к конкретным проблемам сайта, а не к статистическим вероятностям на больших объемах трафика отдельной подсети.
Если в любом случае будет определяться профиль поведения, то отсеивать ботов нужно именно по нему, а не по провайдерам.
К сожалению, эффективных и доступных для простых пользователей программных способов правильно отличить один профиль поведения от другого и выявить - кто робот, а кто реальный пользователь, увы, нет.
Конкретные рабочие вводные - это массовые отказы из-за паразитного трафика и именно с этим признаком нам приходится бороться.
У меня вопрос был немного о другом - что делать с "паразитными IP" (в Вашей терминологии)?
Не давать ему пагубно влиять на рабочие показатели в Метрике.
Полагаю, что это бесполезно. Некоторые провайдеры маршрутизируют сети минимальными роутами /24, некоторые раздают интернет глобальными блоками, никак их не разбивая, но всё это значения не имеет. И модемные, и проводные пулы ротируются между реальными пользователями и автоматизированными системами нагона трафика безо всякого разбора.
Ну, послушайте, выше уже говорилось и не только мной - либо вы смотрите как паразитный траф валит сайт, позиции проваливаются и бизнес несёт серьёзные убытки, либо вы фильтруете эти вредоносные IP-шники и трафик от них уводите "на прокладки". Выше изложен вариант с поддоменом - здесь вообще можно не использовать капч и большая часть отказного трафика будет генерировать отказы на поддомене, тогда как в Метрику основного сайта они попадать не будут.
Как Вы определяете вероятность?
А вы попробуйте самостоятельно. Возьмите контрольный период до наплыва ботов. Отфильтруйте полезный трафик с сотовых IP. Дальше отсортируйте контрольную выборку так, чтобы отдельный IP был сначала с одним профилем, а потом с другим т.е. новый пользователь под тем же IP. Вот и посмотрите, сколько у вас будет новых пользователей перезашедших под ранее использованным IP. Сколько у вас таких будет? Суммируйте их. Вот и рассчитайте этот процент по отношению к общему трафику.
У меня есть один сайт, брошенный наглухо (с февраля сего года абсолютно ни каких работ), так вот на нем боты крутят мне ПФ в плюс
Аналогично недавно разбирал пример. Есть факт наплыва левого трафика, но общая картина такая, что отказы наоборот меньше :) поэтому я и говорю, что у каждого будет свой индивидуальный случай.
Здесь нужно выбирать, что для вас лучше: или у вас сайт остается в ТОПе и при этом теряется из 10 посетителей 3 (так как они, как и вы не готовы проходить капчу), или у вас сайт оказывается на третьей странице и посетителей вообще не будет (кроме ботов конечно же).
Совершенно верно!
Я же уже писал, не нужно тупо ставить гугловскую капчу, чтобы посетители кликали по гидрантам, светофорам и зебрам, Если включить фантазию, можно при выводе капчи добавить все что угодно, от самой простой, до анимации, и здесь опять же, если включить фантазию (в зависимости от тематики) можно сделать, чтобы не один реальный посетитель не ушел.
Именно! И выше я предложил вариант c "прокладкой" на поддомене. Большая часть ботов отказников - это несколько секунд онлайн, пару прокруток и выход. Реальный же человек осознанно пойдет по навигации. Таким образом, кстати, можно будет реально замерить кол-во зафильрованных живых пользователей без всяких капчей с рефером своего же поддомена.
Вариантов - масса, главное проявить творческую смекалку и начать хоть что-нибудь делать, а не сокрушаться по поводу тайных заговоров и теневом склике Яндекса своей же рекламы.
1. Для многих реальных пользователей это будет первичный заход, но Ваши алгоритмы могут воспринять их как паразитные, потому что ранее с этого же ip заходил бот.
Согласен. В этом есть слабое звено предложенного метода. Однако я в принципе не представляю себе решение, где будет корректное отделение имитации браузерных действий ботом и живым человеком. C участием живого наблюдателя - да, но программным способом - пока затрудняюсь даже представить себе это решение. Можно конечно анализировать паттерны, фиксировать геометрию перемещений, но это всё в той или иной допустимой погрешности. А вот чётко отделить пользователя от бота, которые например, только выполняют прокрутку страницы - здесь чётких возможностей не вижу.
Если уж Яндекс в настоящий момент не может корректно и точно выполнить эту задачу, то куда уж нам частным лицам.
2. Во многих сервисах и я ввожу капчу. Но, как правило, это уже знакомые и необходимые мне в данный момент сайты. Здесь же речь идет о поисковой выдаче и посетитель судит о сайте только по сниппету.
Согласен. Однако не стоит отметать возможность повторных заходов, где пользователь уже был на сайте.
Как я уже упоминал выше, данная схема пригодна лишь тем, у кого основная доля целевых визитов десктопная и мобильной выдачей можно принебречь.
Отчасти - да, отчасти - чем удачнее и органичней будет решена проверочная страница, - её, к слову, можно вывести на отдельный поддомен без метрики, а потом навигационно возвращать живого пользователя на основной сайт. Посему, пространство для творческих решений здесь довольно обширное и для кого-то получится решить вопрос фильтрации без капчи.
P. S. В спорах смысл есть и немалый)) я сам нередко признавал свою точку зрения ошибочной после анализа аргументированных доводов другой стороны. ;)
Я сам буду рад признать, если будет более полное и более удачное решение, но пока его нет. Пока я вижу старательное нагнетание мнения, что решения нет - с чем я решительно не согласен.
Вот тут могу поспорить, потому как сам часть заказов и покупок оформляю со смартфона
Спорить действительно можно, я лично никаких ответственных покупок со смартфона не делаю и использую смартфон/планшет исключительно для информационного и навигационного серфинга.
Но спор - дело неблагодарное, я лишь ориентирую собственников сайтов и вебмастеров на то, чтобы знать свою ЦА и в зависимости от предпочтений выбирать ту или инфу стратегию в фильтрации паразитного бот трафика. Для кого-то подойдет фильтрация на уровне масок подсети, для кого-то это будет скрупулёзная ручная работа. Паразитный трафик разный и признаки у него разные, поэтому одного одинакового верного решения для всех здесь не будет, я даю лишь общее направление мысли, а там у каждого будут свою нюансы.
если я со смартфона из поисковой выдачи перехожу на сайт, а он выкатывает капчу
"С чистого листа" при первичном заходе сайты капчи обычно не запрашивают. А вот поисковые системы, Ютуб в зависимости от частоты использования IP нередко просят капчу и подавляющее число пользователей их заполняет, потому что нужен доступ к сервисам. Такая же логика и здесь. Если пользователю в действительности нужен доступ, он подтвердит своё намерение получить информацию.
Анализировали ip через допиленную метрику?
Да.
Как то сопоставляли с логами сервера?
Нет надобности, в данном случае меня интересовали данные метрики.
И кто занимался составлением списка IP адресов?
Ответственное лицо, которое берет на себя обязательства снизить нагрузку паразитного трафика и нормализировать поведенческие.
Более подробно можно начинать читать отсюда.
Никакой массажер не поможет. Спине нужно нагрузку давать, что мышцы имели должный объем и тонус. Остальное как мертвому кадило.
Именно так. Природу не обманешь, нужна физическая активность и разумные, нормированные физические нагрузки.
Спасибо за разъяснения! Но это не решает проблемы, т.к. трафик идет совершенно с разных IP, тысячами, они никогда не дублируются, т.к. их генерят модемы в бешеном количестве. Тут желательно решение с новыми юзерами, а не создание блэк-списка.
Скажем так, модемы их не генерят, модемы используют лишь доступные в выделенной подсети диапозон рабочих IP-шников. Пробуйте от общего к частному - начинайте с фильтрации подсети.
Коммерческие сайты как правило хорошо знают свою ЦА и своих клиентов. Процент заказов с мобильных операторов у них как правило невысок. Мобильные заходы вообще чаще всего гостевые, но тут конечно зависит от тематики. Вы пробуйте, главное найти баланс в котором возможный паразитный трафик уже не оказывает пагубного влияния.
Это не те боты, это краулеры.