Если бот не грузит метрику, ни на серпе, ни на твоем сайте. Тебе налили 100500 кликов. Дальше что?
Посмотрели боты 5 секунд твою капчу и разбежались по другим сайтам. Реально защитил?)))
Первостепенная задача для меня защитить сервер от ботов снизив нагрузку на него, следующая очистить метрику от шлака, который регулярно видел в ней, осовенно когда у меня было по 40-80к заходов ботов. Конечно защитил, когда у тебя под 1 лям страниц и mongo падает от ботов, приходится чего то делать или платить в разы больше. На счет last click, работает он уж явно не тогда когда тебе наливают шлак, по крайней мере я уверен в том что ПС умеют определять бота от человека, да и вообще это какое то абстрактное определение. Если возьмем то что человек перешел с выдачи, провел на сайте 3 минуты, а затем решил вернуться в поиск и поглядеть что нибудь еще по этой же теме, считается ли это last click или нет?! Другой момент, пользователь зашел на откровенный ГС, но инфу по своему вопросу он нашел, получается last click, но тогда почему в выдаче в ТОП обычно стоят качественные сайты? Потому что у них больше last click? Или все же потому что пользователь перешедший на них получает не только нужную ему инфу, но и что то еще стоящее. В общем это какая то конспирология и теория заговоров с целью запутать всех подряд, для меня last click это что то вроде беспонтового page speed, шум есть, а толку нет.
Еще такое момент, мне на протяжении 3х лет лили на сайт какой то непонятный трафик с кучей отказов, по логике с last click позиции должны были шлепнуться, но че то не сраслось видать. Если брать Яндекс, во что я верю, так это только в поведенческие и то не во все подряд, а в какие то пределенные действия + возвраты на сайт.
Я вам так скажу, у каждого своя правда, просто боты разные бывают и задачи у них разные, кого то парсят, кому то хотят/пробуют поведенческие испортить, не важно работает это или нет, важно что визуально метрику портит, созают дополнительные нагрузки на ваш сервер, приходится покупать железо дороже. Минусов от ботов куча и нормальных ботов сложно поймать, проверить, у меня есть даже сбор ips которые я кроном по базе прогоняю, правда в бесплатном режиме, сейчас в базе 8870047 подозрительных IP отловленных моим сервером, думаю с выходом на пенсию даже не смогу этот список програть по базам. Могу выгрузить весь список, только если вы его в nft добавите сожрете как минимум половину вашей оперетивки на сервере, а если по маске забаните то и трафика лишитесь вовсе. Кроме того, те кто боролись с целеноправленной бот сетью знают на сколько быстро алгоритмы адаптируются под ваши лайтовые проверки на ботность, можно каждую неделю или две менять правила, их будут обходить в 100% случаях. Если вы делаете защиту которая в автоматическом режиме делает различные проверки, то найти ключик для лазаейки вопрос времени, если это конечно целесообразно для того кто хочет нагнать на вас ботов. Самое действенное правило для остановки ботов это лишь то насколько дорого это будет выходить вредителю или на сколько ресурсоемко будет обходить проверку.
Анти БОТ#: А по каким кстати признакам срабатывает челлендж? И что он из себя представляет.
Срабатывает он так как тебе угодно, по каким признакам сделаешь активацию его, по таким и будет, можно всем подряд, можно фильтровать по языку к примеру, по IP, по UA, до почему угодно. Визуально можно сделать одив в один как в CF. Технически это промежуточная страница где nginx без смены url, а можно и со сменой, перенаправляет клиента на страницу скажем с гпроверкой браузером токена и/или прохождением капчи. У меня к примеру 2 уровня стоит, лайтовый - генерация токена и проверка его JSом, это по сути фильтрует тех у кого JS вырублен, как раз для тех ботов которые код страницы хотят получить, а при этом получают страницу челенджа. Вторая версия со SmartCaptcha для более умных боов которые используют JS и проходят проверку токена, к примеру если юзают puppeteer он на изи проверку токена проходит, но капчу не пройдет, для ботов разгадка капчи это дорого и ресурсоемко. По сути nginx перед отдачей сайта выплевывает клиенту обычную лайтовую html страницу для решения каких то задачь, на ней можно сделать все что тебе в голову взбредет, если проверка пройдена, то пропускает на сам сайт. Я так кстати не только от говноботов и парсеров избавился, но и мое дешманское облако 10млн. запросов (за сутки) во время ддос даже не заметило, к слову говоря ставил до этого зажиту L5-L7 у хостера и она вообще не помогала, ну или частично только, может конечно защита такая неочень у них была, я точно не знаю.
Думаю самая эффективная защита от ботов если не брать сам CF, это Nginx + челендж с капчей на нем, по сути тоже самое что и CF, только индивидуальная реализация. У мня стоить челендж и ботов вообще нет, единственное что нужно правильно настраивать и не накосячить
Сергей Новиков#: Печалька будет если гугл отклонит ваше расширение после оплаты из-за "нарушения политик безопасности", а не сами пять баксов) Вы уверены что ваш код вообще пройдет ревью? Половину новых аддонов от разработчиков-одиночек сейчас заворачивают роботы
Уверен что пройдет, но даже если и нет, 5 баксов... не 20к р
Я для таких случаев сделал зарубежную карту, вон даже у МТС есть такая услуга, гуглите. Стоит в районе 20 тысяч, карта на пять лет, пополнение через сбер.
TonyBlackberry#: Вы сами-то верите в этот бред? Сначала ищут фотографов, которые предоставят свою базу фотографий с целью защиты авторского права. Потом каждую фотографию загружают в поиск по картинкам (яндекс, гугл и др.) и выискивают что где лежит без разрешения. От таких массовых жалобщиков спасает закрытие картинок от поисковых систем. Но некоторые правообладатели ищут картинки и через обычный поиск. И вот от них спрятаться намного сложнее.
Подтверждаю! У меня контент на сайте весь юзер генератор, стоит своя аналитика по каторой все нужные данные подхватываются, так вот, переходят чисто через поиск картинок, последний раз к примеру: Загружают картинку в яндек и ищут ее. За пару часов подготавливают все документы и пушат на мыло, все у них заготовлено и отлажено, вымагают овер дохера.
Тож месяц назад где то закрыл картинки от индексации, надоели уже... Картиночного трафика 0, а проблем от него куча, при чем за шлак какой то стучат регулярно.
Я писал под себя защиту, весь подозрительный трафик nginx сливает на капчу. Боты совсем пропали. По факту яндексойды правильно пишут, боты не повлияют на выдачу, жил по ботами года 2 и делать начал только лишь потому что нагрузки большие на сервера начали создавать
Если бот не грузит метрику, ни на серпе, ни на твоем сайте. Тебе налили 100500 кликов. Дальше что?
Посмотрели боты 5 секунд твою капчу и разбежались по другим сайтам. Реально защитил?)))
Первостепенная задача для меня защитить сервер от ботов снизив нагрузку на него, следующая очистить метрику от шлака, который регулярно видел в ней, осовенно когда у меня было по 40-80к заходов ботов. Конечно защитил, когда у тебя под 1 лям страниц и mongo падает от ботов, приходится чего то делать или платить в разы больше. На счет last click, работает он уж явно не тогда когда тебе наливают шлак, по крайней мере я уверен в том что ПС умеют определять бота от человека, да и вообще это какое то абстрактное определение. Если возьмем то что человек перешел с выдачи, провел на сайте 3 минуты, а затем решил вернуться в поиск и поглядеть что нибудь еще по этой же теме, считается ли это last click или нет?! Другой момент, пользователь зашел на откровенный ГС, но инфу по своему вопросу он нашел, получается last click, но тогда почему в выдаче в ТОП обычно стоят качественные сайты? Потому что у них больше last click? Или все же потому что пользователь перешедший на них получает не только нужную ему инфу, но и что то еще стоящее. В общем это какая то конспирология и теория заговоров с целью запутать всех подряд, для меня last click это что то вроде беспонтового page speed, шум есть, а толку нет.
Еще такое момент, мне на протяжении 3х лет лили на сайт какой то непонятный трафик с кучей отказов, по логике с last click позиции должны были шлепнуться, но че то не сраслось видать. Если брать Яндекс, во что я верю, так это только в поведенческие и то не во все подряд, а в какие то пределенные действия + возвраты на сайт.
А по каким кстати признакам срабатывает челлендж? И что он из себя представляет.
Срабатывает он так как тебе угодно, по каким признакам сделаешь активацию его, по таким и будет, можно всем подряд, можно фильтровать по языку к примеру, по IP, по UA, до почему угодно. Визуально можно сделать одив в один как в CF. Технически это промежуточная страница где nginx без смены url, а можно и со сменой, перенаправляет клиента на страницу скажем с гпроверкой браузером токена и/или прохождением капчи. У меня к примеру 2 уровня стоит, лайтовый - генерация токена и проверка его JSом, это по сути фильтрует тех у кого JS вырублен, как раз для тех ботов которые код страницы хотят получить, а при этом получают страницу челенджа. Вторая версия со SmartCaptcha для более умных боов которые используют JS и проходят проверку токена, к примеру если юзают puppeteer он на изи проверку токена проходит, но капчу не пройдет, для ботов разгадка капчи это дорого и ресурсоемко. По сути nginx перед отдачей сайта выплевывает клиенту обычную лайтовую html страницу для решения каких то задачь, на ней можно сделать все что тебе в голову взбредет, если проверка пройдена, то пропускает на сам сайт. Я так кстати не только от говноботов и парсеров избавился, но и мое дешманское облако 10млн. запросов (за сутки) во время ддос даже не заметило, к слову говоря ставил до этого зажиту L5-L7 у хостера и она вообще не помогала, ну или частично только, может конечно защита такая неочень у них была, я точно не знаю.
remoney
Ага, через них и пополнил на днях, все быстро прошло, за 5$ - 1170р взяли, считаю более чем нормально.
Расширение для браузера гугл уже одобрил =)
Он не понял, надо ему объяснить, помочь.
Чел! Там комиссия 135 рублей с 5$. А у киргизов 20к рублей.
20к рублей больше чем 135 рублей.
Выгоднее оплатить комиссию 1 раз. 135 рублей. И всё. Таоя расширение примут, миллионы поднимешь.
Печалька будет если гугл отклонит ваше расширение после оплаты из-за "нарушения политик безопасности", а не сами пять баксов) Вы уверены что ваш код вообще пройдет ревью? Половину новых аддонов от разработчиков-одиночек сейчас заворачивают роботы
Я для таких случаев сделал зарубежную карту, вон даже у МТС есть такая услуга, гуглите. Стоит в районе 20 тысяч, карта на пять лет, пополнение через сбер.
Вы сами-то верите в этот бред? Сначала ищут фотографов, которые предоставят свою базу фотографий с целью защиты авторского права. Потом каждую фотографию загружают в поиск по картинкам (яндекс, гугл и др.) и выискивают что где лежит без разрешения. От таких массовых жалобщиков спасает закрытие картинок от поисковых систем. Но некоторые правообладатели ищут картинки и через обычный поиск. И вот от них спрятаться намного сложнее.
Подтверждаю! У меня контент на сайте весь юзер генератор, стоит своя аналитика по каторой все нужные данные подхватываются, так вот, переходят чисто через поиск картинок, последний раз к примеру: Загружают картинку в яндек и ищут ее. За пару часов подготавливают все документы и пушат на мыло, все у них заготовлено и отлажено, вымагают овер дохера.
Тож месяц назад где то закрыл картинки от индексации, надоели уже... Картиночного трафика 0, а проблем от него куча, при чем за шлак какой то стучат регулярно.