Помогите забанить бота (грабер)

12 3
Coolteams
На сайте с 02.05.2014
Offline
58
3515

Пару дней назад заметил клона на фрихе в выдаче, сайт содран целиком. Грабер непрерывно сканирует всю директорию сайта и гуляет по ссылкам. Все изменения проводимые на сайте синхронно обновляются у клона - контент, редактирование шаблонов, выключение\включение сайта и т.д. Грабер делает по 20 запросов в секунду, ip меняются каждые 2 сек, по ip забанить нереально, прокси-лист бесконечный.

В логах:

xx.xx.x.xxx - - [дата] "GET /uploads/images/image_02233489.png HTTP/1.1" 200 127011 "http://домен.ru/страница.html" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.94 Safari/537.36 OPR/24.0.1558.53"

Все значения меняются, кроме: Mozilla/5.0 (Windows NT 6.1; WOW64)

Пробовал прописать в htaccess RewriteCond для юзер агента, чета не проканало, возможно что-то не так делаю. Подскажите, что можно сделать.

Если у кого-то хороший опыт в этих вопросах, и знает как разрулить проблему, обращайтесь в ЛС, договоримся.

LEOnidUKG
На сайте с 25.11.2006
Offline
1725
#1

IP, Ой да ладно бесконечный.

100-500 штук? :)

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
Coolteams
На сайте с 02.05.2014
Offline
58
#2
LEOnidUKG:
IP, Ой да ладно бесконечный.

100-500 штук? :)

образно, досчитал до 100. Можно ослепнуть, да еще и всех пс забанить случайно

LEOnidUKG
На сайте с 25.11.2006
Offline
1725
#3
Coolteams:
образно, досчитал до 100. Можно ослепнуть, да еще и всех пс забанить случайно

Не нужно образно.

Создайте страницу чистую в корне с названием test.php, туда запишите строчку:

<? echo $_SERVER['SERVER_ADDR']; ?>

Сохраняйте и пробуйте вызвать эту страницу на сайте клоне. Она будет вам показывать через какие IP запрашивается ваш сайт. Далее уже вы знаете, что делать 🍿

Den73
На сайте с 26.06.2010
Offline
523
#4

банить не нужно ибо бред, попросите хостера пофильтровать ботов в режиме реального времени

Coolteams
На сайте с 02.05.2014
Offline
58
#5
Den73:
банить не нужно ибо бред, попросите хостера пофильтровать ботов в режиме реального времени

ему на это абсолютно по..... так же как и платонам

---------- Добавлено 12.09.2014 в 21:27 ----------

LEOnidUKG:
Не нужно образно.

Создайте страницу чистую в корне с названием test.php, туда запишите строчку:

<? echo $_SERVER['SERVER_ADDR']; ?>

Сохраняйте и пробуйте вызвать эту страницу на сайте клоне. Она будет вам показывать через какие IP запрашивается ваш сайт. Далее уже вы знаете, что делать 🍿

забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden

lazyfish
На сайте с 05.01.2014
Offline
13
#6
Coolteams:
ему на это абсолютно по..... так же как и платонам

---------- Добавлено 12.09.2014 в 21:27 ----------



забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden

Странноватое решение, если это вы на постоянной основе хотите воплотить. Это неподходящая сигнатура для бота, ибо многие реальные клиенты имеют такой же Useragent с ^Mozilla. Ищите другие совпадения в каждом из запросов.

LEOnidUKG
На сайте с 25.11.2006
Offline
1725
#7
забанил тупо Мозилу 4.0 и 5.0,

Это вы сейчас 50% юзерей забанили обычных....

Просто IP фильтруйте и всё. У него не бесконечные они.

zexis
На сайте с 09.08.2005
Offline
388
#8

Могу вам настроить автоматический бан ботов.

Есть отлаженное решение для этого.

Напишите мне в аську 1699три8679

Coolteams
На сайте с 02.05.2014
Offline
58
#9
LEOnidUKG:
Это вы сейчас 50% юзерей забанили обычных....

Просто IP фильтруйте и всё. У него не бесконечные они.

Да я это понял сразу, нет никаких совпадений, бот эмулирует как обычный браузер, для него невозможно правило написать, нет никаких отличительных признаков. По сути создано зеркало моего сайта на фридомене, и вся редактируемая инфа стразу отражается на нем. Бан по ip вашим методом тоже не прокатил, так мы узнали ip домена, на котором стоит клон, но не ip парсера. И да, то что я писал выше про 20 запросов в секунду, это не парсер. Это запросы к картинкам при открытии страницы пользователями.

Den73
На сайте с 26.06.2010
Offline
523
#10
Coolteams:
ему на это абсолютно по..... так же как и платонам

ну тогда продолжайте в пустую тратить врем и банить ип :)

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий