- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Для прямых заходов поставь самописную капчу слайдер.
Так уже делать нельзя. Браузер пользователя может не передавать рефер.
Так уже делать нельзя. Браузер пользователя может не передавать рефер.
Да, есть проблема с айфонщиками, у них реферер режется, но пока не критично.
Своему программисту скажи чтобы почитал про:
1. Fail2ban + nftables
2. Nginx + JavaScript Proof-of-Work Challenge
Второе, на выходе получишь самопалный простенький аналог CF, можно сделать по уровням (проверка на js / проверка капчи с той же SmartCaptcha), юзеры давольны и ботов будет ноль. Естественно надо будет сделать так чтобы Google и Yandex боты заходили без проверки.
Смотрю часто чет стали писать про ботность...
Да, есть проблема с айфонщиками, у них реферер режется, но пока не критично.
На зарубежном трафике таких поболее
Через nignix один знакомый программист заблокировал некоторых роботов, строчка выглядит так:
server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) {
return 403;
Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.
Это та проблема что тянется на этом форуме годами, еще с момента веток с Cloudflare. Поиск решения к задаче способами, которые к этой задаче не имеют абсолютно никакого отношения.
Первое, это когда тот кто не понимает, что хочет, дает задание тому, кто не понимает о чем речь. Но тот кто дает задание, уверен в том, что исполнитель - специалист. Прогер - НЕ специалист по ботам (в 99% случаев, редких случаев, например присутствующий в этой ветке Станислав - практик, а не истеричка орущая на темы в которых вообще не разбирается, есть и такие). Ну или Майк, который годами пилит свой продукт, поэтому уже успел забыть то, что большинство здесь присутствующих даже и не знали.
Прогер как правило не знает, что есть простые боты (краулеры поисковиков, сканеры парсеры и проч), а есть боты поведенческие - с браузером. Для него это одна большая куча с названием - боты.
Он не способен это ни увидеть ни понять, так как у поведенческих тот же юзерагент в общем списке в ленте, все что он может увидеть глядя в access.log - это сканеры парсеры (например, Go-http-client). НО эти сканеры парсеры не имеют браузера, значит не могут быть отображены в отчетах метрики.
Метрике НЕ видит простых ботов, поэтому все эти списки в разрезе задачи уменьшить роботность - это пустой пук в воздух.
Прогер просто передирает первый же попавшийся ответ из поиска или ИИ вам в настройки, только за деньги. Вы и самостоятельно могли натянуть в нжингс эту простыню, если бы знали как добраться до нжингс и это туда записать.
Отсюда первая ошибка - вы не понимаете что хотите, поэтому ставите задачу тому, кто не понимает что вы хотите. Отсюда и иллюзия бурной деятельности, без получения какого-то конечного результата (уменьшение роботности в метрике).
Вторая ошибка - это бездумное переписывание того, актуальность чего тот кто переписывает проверять не хочет / не понимает, что именно передирает и зачем. Человек ленив. Именно потому ВСЕ программисты и сеошники, которые с умным видом впаривали в ветках по клауду правила Акулова и Зимина, тянули в них (бездумно) артефакты, которые те натыкали туда еще с 2016 и 2017 годов. Я про номера версий чего-либо, а также тупое бросание под капчу протокола IPV6, который уже стал стандартном но на момент написания в 2018 году - им не был.
Версия, софт, окружение сменится, а обезьянки годами будут с уверенным видом тянуть к себе устаревшую таблетку с плацебо.
Поэтому разделите свою задачу на 2.
- заблокировать в нжингс/апач сканеры/парсеры/краулеры которые не нужны (бинг). Это уровень вашего знакомого программиста, если бы он не впарил вам совсем уж туфту, как выше.
- уменьшить роботность
Это 2 абсолютно разные задачи. Хотите решить вторую, но ваш уровень понимания НЕ выходит за решение первой.
Ищите на бирже того кто вам будет ставить какие-то решения (таких фришных полно на гитхабе, не нужно изобретать очередной велосипед) которые будут разделять трафик с браузером на ботный и не ботный, но учтите: все эти решения будут содержать капчу.
Поэтому если у вас нет желания видеть в некоторых случаях капчу на своем сайте, сделайте как некоторые выросшие дети: закройте глаза, удалите метрику. Нет метрики, нет и роботности, вы же ее не видите.
Поэтому если у вас нет желания видеть в некоторых случаях капчу на своем сайте, сделайте как некоторые выросшие дети: закройте глаза, удалите метрику. Нет метрики, нет и роботности, вы же ее не видите.
а блокировка всяких небраузерных ботов как раз дает снижение нагрузки на сервер.
Много букв я написал потому, что может до кого-нибудь наконец дойдет, если будет не по диагонали читать. Хотя шанс мал, плюс в любые такие темы набегают одни и те же персонажи и превращают их в срач.
знакомый программист заблокировал некоторых роботов
server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|///
return 403;
Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.
Какое отношение первое имеет ко второму....
Много букв я написал потому, что может до кого-нибудь наконец дойдет, если будет не по диагонали читать.
У меня есть знакомый, у которого тоже автосайт с хорошей посещаемостью. Но у него роботность около 10 %. Он даже не знал о ней, пока я у него не спросил)) Вот как боты выбирают куда ходить?
У него сайт - новости про машины с каталогом.