Парсят

12
S
На сайте с 04.02.2007
Offline
318
svv
1408

Друзья, выручайте.

Снова выросла нагрузка на сервер. Обратил внимание, что парсят с разных IP, принадлежащих virty.io

Есть ли методы "выловить" все их IP сети для блокировки в htaccess помимо банального перебора ручками из статистики?

Антон Лавеев
На сайте с 31.10.2005
Offline
425
#1

а что в рефере и юзерагенте?

☠️☠️☠️
I
На сайте с 01.05.2015
Offline
72
#2

svv, cloudflare воспользуйтесь

S
На сайте с 04.02.2007
Offline
318
svv
#3

Записи выглядят так:

mysite.com 185.47.207.110 - - [27/Jul/2018:03:42:05 +0300] "GET /stranica2.html HTTP/1.1" 200 20498 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0" 0

mysite.com 185.47.207.110 - - [27/Jul/2018:04:00:03 +0300] "GET/stranica3.html HTTP/1.1" 200 21162 "-" "Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko" 0

mysite.com 185.47.207.48 - - [27/Jul/2018:05:48:09 +0300] "GET/stranica4.html HTTP/1.1" 200 26445 "-" "Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36" 0

Реферрера тут не вижу.

И еще вопрос:

Вот так выглядит запись в WHOIS


IP диапазон: 94.26.192.0 - 94.26.255.255
CIDR: 94.26.192.0/18

Обязательно хреначить:

Deny from 94.26.192

Deny from 94.26.193

Deny from 94.26.194

..

..

..

Deny from 94.26.255

или же достаточно записи:

Deny from 94.26.192.0/18

?

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#4

Можно еще поставить https://antibot.cloud/ и не придется скорее всего отлавливать отдельные ip.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
AN
На сайте с 05.06.2004
Offline
243
#5
svv:
или же достаточно записи:

Deny from 94.26.192.0/18

Да. Достаточно.

Главное, смотреть внимательно, чтобы таким макаром что-то нужное не заблочить, типа ботов поисковиков.

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
S
На сайте с 04.02.2007
Offline
318
svv
#6

Вряд ли боты поисковиков юзают эти дерьмопрокси.

Собственно, почти все побанил

AN
На сайте с 05.06.2004
Offline
243
#7
svv:
Вряд ли боты поисковиков юзают эти дерьмопрокси.

Конечно. Просто при такой записи есть большой риск накосячить. Ошибешься в одной циферке, напишешь по недосмотру /8 вместо /18 - и вот уже и побанил пол инета:(

S
На сайте с 04.02.2007
Offline
318
svv
#8

Среди прочих наблюдаю, что сайт сканируется роботами text.ru

Как думаете, зачем оно им?

E
На сайте с 21.09.2017
Offline
102
#9
svv:
Среди прочих наблюдаю, что сайт сканируется роботами text.ru
Как думаете, зачем оно им?

Я думаю, что проверка уникальности так отражается. Она же ищет совпадения по разным сайтам.

Надежный хостинг для РФ: https://clck.ru/gkANL
S
На сайте с 04.02.2007
Offline
318
svv
#10

Выводы по проделанной работе: 99% ботов, лезущих через вышеуказанную сеть, прибиты. Если кому то нужно, могу список заблокированных IP выложить сюда. Сильно вряд ли, чтобы через них ходили нормальные люди.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий