- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сайт имеет достаточно большую посещаемость и большое количество объемных исполняемых php файлов. Уже длительное время с различных ip Российских, Украинских идет большое количество запросов к этим phpшкам. Но работают очень грамотно обычно не более 5 -50 запросов, чередуя с запросами к простым html, запрашиваются разные адреса, но в основном несколько десятков. Время между запросами не линейно, могут быть через секунду, могут через 20 секунд, в разное время суток, обычное не более 40 -50 за раз, но бывает и по 10 штук и по 300. Файлы логов в несколько сотен тысяч, пробовал убивать в iptables отдельные ip и подсети, но поиск занимает столько времени, что становится абсолютно не приемлемым, блокировка по количеству обращений в минуту чревата тем, что множество реальных клиентов перегружают php страницы достаточно большое количество раз. Спамеры проявляют завидную изобретательность, не могу в логах отловить их по какому-либо характерному признаку, задействуют множество схем. Какие возможны варианты или хотя бы попытки нивелировать эту напасть.
а с чего взяли, что спаммеры ? Сейчас помимо ботов куча всякого софта у юзеров может быть, от префетча страниц до хождения через прокси и vpn.
Геолокация IP ничего не значит, смотреть надо кому они принадлежат.
могу сделать аудит и рассказать что это за трафик, оттуда, возможно, станет понятно как бороться
Какой то конь у вас в сферическом вакууме.
Что за PHP? Почему вы решили, что это боты? Что за спамеры, что они спамят? Что за проект, о чём вообще речь?
Думаю, что спамеры, из-за аномалий. Наблюдаю за посещаемостью - нормальная ситуация - больше всего просмотров у индексной страницы, в какой-то момент начинают идти всплески по различным страницам. И не в статических допусках, а постепенно набираются до величин в 2,3 раза больше чем посещений основных страниц сайта. Динамику указал в предыдущем посте. Цель такого действа не очень ясна, есть ли вероятность, что путем повышения количества отказов (
Просмотр страницы 1сек) ухудшать позиции сайта в поисковиках? Не спорю может быть это паранойя, но все же не могут быть в различные дни настолько разные показатели по просмотрам страниц (в разы).
Покажите пример запросов из лога. Если у вас сайт на https + http2, то отсечь ботозапросы ооочень просто средствами Nginx
если просто http или https без http2 - тоже можно, но будет сложнее
Dram, если это более менее полноценный бот на браузерном движке, то чем спасет http2 ?
Dram, если это более менее полноценный бот на браузерном движке, то чем спасет http2 ?
Тем что таких ботов от общего числа - 0,5%.
Но все равно - нужно видеть запросы, чтобы понять как их отбить.
Dram слежу за Вашими постами и борьбой с ботами, в том числе с псевдогугло. Взял один день привожу небольшую выборку. Прежде чем дропать ip проверяю его наличие в базе блэклистов, на всякий случай. В 95% адрес из моего лога там присутствует. Некоторые строки из приводимых откровенно удивляют. Смотрите сами.
********************
109.252.57.62 - - [17/Jun/2018:08:04:37 +0300] "GET *******.php HTTP/1.1" 200 16164 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_2 like Mac OS X) AppleWebKit/603.2.4 (KHTML, like Gecko) Version/10.0 Mobile/14F89 Safari/602.1"
***********************
109.87.84.123 - - [17/Jun/2018:13:58:02 +0300] "POST *******.php HTTP/1.1" 200 16108 "*******.html" "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36"
***********************
188.162.173.226 - - [18/Jun/2018:00:55:59 +0300] "GET *******.php HTTP/1.1" 200 16304 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 YaBrowser/18.4.1.871 Yowser/2.5 Safari/537.36"
***********************
213.87.120.99 - - [17/Jun/2018:12:30:32 +0300] "POST *******.php HTTP/1.1" 200 16178 "*******..html" "Mozilla/5.0 (Linux; Android 7.1.2; Redmi 4A Build/N2G47H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.81 Mobile Safari/537.36"
***********************
46.211.2.206 - - [17/Jun/2018:16:27:08 +0300] "GET *******.html HTTP/1.1" 200 17346 "*******..php" "Mozilla/5.0 (Linux; Android 5.1.1; SM-G531H Build/LMY48B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.85 Mobile Safari/537.36"
***********************
5.166.52.63 - - [17/Jun/2018:14:34:31 +0300] "POST *******.php HTTP/1.1" 200 16191 "*******.html" "Mozilla/5.0 (Linux; Android 5.1; Benefit_M503 Build/LMY47D) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.158 Mobile Safari/537.36"
***********************
Таких более 600 распределены по суткам идут пачками с интервалом 3-20 сек.
5.164.8.201 - - [17/Jun/2018:15:27:56 +0300] "POST *******..php HTTP/1.1" 200 16057 "*******..html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36"
***********************
Таких запросов более 4500 в день к двум страницам, распределены по суткам, в 7 часов с копейками, в 13, в 22 тоже с минутами.
37.54.119.227 - - [17/Jun/2018:08:12:41 +0300] "GET *******.html HTTP/1.1" 200 17305 "https://www.google.com.ua/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36 OPR/53.0.2907.99"
37.54.119.227 - - [17/Jun/2018:08:12:43 +0300] "POST *******..php HTTP/1.1" 200 16170 "*******.html" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36 OPR/53.0.2907.99"
********************
---------- Добавлено 30.06.2018 в 13:08 ----------
Сегодняшний клиент
5.164.8.201 - - [30/Jun/2018:10:01:35 +0300] "POST *******.php HTTP/1.1" 200 16282 "*******.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
1. У вас https + http2 ? вы не ответили
2. К этим php файлам нормальные юзеры обращаются или обращение к ним напрямую уже не нормально?
нет просто http