Cloudflare лег?

big boy
На сайте с 18.11.2006
Offline
356
#921

А теперь каптча отвалилась на другом сайте, бесконечно пытается загрузиться:


✔ Как я генерирую статьи через ИИ, которые приносят трафик - https://webmasta.ru/blog/16-vkalyvayut-roboty-ne-chelovek-stati-s-pomoschyu-ii-kotorye-prinosyat-trafik
Д
На сайте с 01.04.2012
Offline
166
#922
Анти ДДОС #:
те же самые боты снова ломанутся на сайт

Я  в сео 0, но разве ботам нельзя отдавать страницу ошибки или заблокировать им доступ к сайту, например по ASN?

Д
На сайте с 01.04.2012
Offline
166
#923
TonyBlackberry #:
ну почему же плохо? ботов битерики, таймвеба, селектела и прочих хостингов метрика определяет очень хорошо.

Так заблокируйте их по ASN, лично у меня все известные мне ДЦ и кто "светился" в не хороших делах - в блоке по ASN, им капчу выдает от гугла (мало ли кто через тот самый инструмент ходит в инет на три буквы который). И все как Бразилия, Япония ну и т.п. и т.д на уровне nginx в блоке.

H
На сайте с 12.06.2015
Offline
86
#924
Включил на паузу CF, на следующий день в метрике яндекса 80% трафика - роботы. Не выдержал и включил  CF обратно. Что делать владельцам сайтов не программистам и серверным специалистам, если сайт не приносит так много, чтобы окупать расходы защиту от роботов, например оплату настроек (и постоянного мониторинга) сервера или сервисов? Как будто в угол загнали с роботами) 
Анти БОТ
На сайте с 14.03.2020
Offline
129
#925
Дадуда #:
И все как Бразилия, Япония ну и т.п. и т.д на уровне nginx в блоке

Вся эта путаница от того что боты и поведенческие боты у всех и всегда смешаны в одну кучу. Как понимаю, вы про парсеры сканеры и прочие низкоуровневые, без браузера. Которые по HTTP1 ходят, в отличие от людей и поведенческих ботов с HTTP 2 и 3.
При чем в ответе на пост, в котором человек говорит про поведенческих ботов, использующих айпи известных хостингов.
Т.е. теорию нужно немного подтянуть.

Ну а насчет того, можно ли заблокировать айпи ботам. Поведенческим ботам. По ASN.
Вот вам небольшой список IP, с которых на один сайт (а также десятки других сайтов, с ним вообще никак не связанных) заходила одна и та же ботоферма с поведенческими ботами, только айпи рандомно меняются. Переходы в основном с яндекса и гугла.

94.25.173.163
94.25.168.184
95.24.118.135
178.176.79.36
31.173.80.226
94.25.173.156
31.173.86.76
94.25.169.229
31.173.87.208
79.164.137.132
31.173.83.218
213.87.152.134
213.87.131.53
Дадуда #:

Я  в сео 0, но разве ботам нельзя отдавать страницу ошибки или заблокировать им доступ к сайту, например по ASN?

Чтобы не пришлось искать, вот вам их ASN. Пожалуйста, блокируйте. 

AS42610 PJSC Rostelecom
AS8359 MTS PJSC
AS25159 PJSC MegaFon
AS8615 "Central Telegraph"
AS8402 OJSC "Vimpelcom"

В NGINX как раз есть возможность всем этим злыдням с Мегафона, МТСа, Билайна  и Ростелекома вместо вашего сайта показать белую страницу Error 403 🤣🤣🤣

Ну а разгадывать Гугл капчу просто зайти на какой-то там сайт.... Ну такое, на любителя. Проще закрыть вкладку и открыть соседнюю из выдачи. Вы там кстати уже в РКН зарегистрировались для передачи трансграничных данных?

Размер штрафов:
для физлиц — от 30 до 50 тысяч рублей;
для ИП — от 100 до 200 тысяч рублей;
для юридических лиц — от 1 до 6 миллионов рублей;

Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
TB
На сайте с 16.01.2009
Offline
261
#926
Дадуда #:
Так заблокируйте их по ASN, лично у меня все известные мне ДЦ и кто "светился" в не хороших делах - в блоке по ASN, им капчу выдает от гугла

Через Cloudflare это сделать легко, а вот без него не каждый может осилить.

Д
На сайте с 01.04.2012
Offline
166
#927
Анти ДДОС #:

Вся эта путаница от того что боты и поведенческие боты у всех и всегда смешаны в одну кучу. Как понимаю, вы про парсеры сканеры и прочие низкоуровневые, без браузера. Которые по HTTP1 ходят, в отличие от людей и поведенческих ботов с HTTP 2 и 3.
При чем в ответе на пост, в котором человек говорит про поведенческих ботов, использующих айпи известных хостингов.
Т.е. теорию нужно немного подтянуть.

Ну а насчет того, можно ли заблокировать айпи ботам. Поведенческим ботам. По ASN.
Вот вам небольшой список IP, с которых на один сайт (а также десятки других сайтов, с ним вообще никак не связанных) заходила одна и та же ботоферма с поведенческими ботами, только айпи рандомно меняются. Переходы в основном с яндекса и гугла.

Чтобы не пришлось искать, вот вам их ASN. Пожалуйста, блокируйте. 

У вас в NGINX как раз есть возможность всем этим злыдням с Мегафона, МТСа, Билайна  и Ростелекома вместо вашего сайта показать белую страницу Error 403 🤣🤣🤣

Понял, спасибо. Не знал. Добавил эти IP тоже для прохождение капчи. Или они и капчу обходят гугла?
Нет нет, ASN как раз 403 не выдает, а капча, 403 только для других стран, которые не нужны на сайте

Анти БОТ
На сайте с 14.03.2020
Offline
129
#928
Дадуда #:

Понял, спасибо. Не знал. Добавил эти IP тоже для прохождение капчи. Или они и капчу обходят гугла?

Это же микро кусочек с айпишниками, взятый из огромной ленты. Зачем тупо брать его на форуме и куда-то себе копировать, это как мертвому припарка, в доступе для накрутчиков десятки, а то и сотни тысяч таких же.
Вы лучше весь пост осильте выше.

Д
На сайте с 01.04.2012
Offline
166
#929
Анти ДДОС #:

Это же микро кусочек с айпишниками, взятый из огромной ленты. Зачем тупо брать его на форуме и куда-то себе копировать, это как мертвому припарка, в доступе для накрутчиков десятки, а то и сотни тысяч таких же.
Вы лучше весь пост осильте выше.

Да нет, не особо нужно) Но спасибо за инфо, приму к сведению.

V7
На сайте с 28.09.2015
Offline
91
#930

Используя Cloudflare блокировал доступ к сайту по протоколам и Странам – с которых точно клиентов быть не может. Помогало – значительно убрал бото-трафик и левую активность на сайтах.

Но прибежали менеджеры магазина – говорят клиенты жалуются, не доступны сайты с мобильных устройств. Пришлось отключить проксирование через Cloudflare – и началось…

Ежедневно стали регистрироваться левые пользователи. Полез смотреть логи сервера – а там кошмар, каждый день, два-три раза в сутки идут потоки запросов - по несколько тысяч за раз, типа:

185.177.72.104 - - [04/Jul/2025:08:04:56 +0000] "GET /.env.prod HTTP/1.1" 403 195 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.104 - - [04/Jul/2025:08:04:56 +0000] "GET /wp-config HTTP/1.1" 404 2311 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.104 - - [04/Jul/2025:08:04:56 +0000] "GET /config.js HTTP/1.1" 404 2311 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.104 - - [04/Jul/2025:08:04:56 +0000] "GET /.env.old HTTP/1.1" 403 195 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"

185.177.72.3 - - [04/Jul/2025:16:05:39 +0000] "GET /wp-config.sublime-project HTTP/1.1" 404 196 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.3 - - [04/Jul/2025:16:05:39 +0000] "GET /wp-config.backup HTTP/1.1" 404 196 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.3 - - [04/Jul/2025:16:05:39 +0000] "GET /src/.env HTTP/1.1" 404 196 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.3 - - [04/Jul/2025:16:05:39 +0000] "GET /linusadmin-phpinfo.php HTTP/1.1" 404 196 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
185.177.72.3 - - [04/Jul/2025:16:05:39 +0000] "GET /lara/info.php HTTP/1.1" 404 196 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"

34.162.14.82 - - [04/Jul/2025:23:10:29 +0000] "GET /.git/HEAD HTTP/1.1" 403 134 "-" "ct\xE2\x80\x91git\xE2\x80\x91scanner/0.4"
34.162.14.82 - - [04/Jul/2025:23:10:29 +0000] "GET /.git/HEAD HTTP/1.1" 403 134 "https://www.my-site.ru/.git/HEAD" "ct\xE2\x80\x91git\xE2\x80\x91scanner/0.4"
34.162.14.82 - - [04/Jul/2025:23:10:29 +0000] "GET /.git/HEAD HTTP/1.1" 302 154 "-" "ct\xE2\x80\x91git\xE2\x80\x91scanner/0.4"
37.221.67.65 - - [04/Jul/2025:23:10:42 +0000] "POST /bitrix/admin/esol_import_excel_cron_settings.php HTTP/1.1" 302 154 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
37.221.67.65 - - [04/Jul/2025:23:10:43 +0000] "POST /bitrix/admin/esol_import_excel_cron_settings.php HTTP/1.1" 302 154 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:45.0) Gecko/20100101 Firefox/45.0"

Данные запросы направлены на поиск уязвимостей – для возможного взлома, и таких запросов по пять - шесть тысяч в день.

Анализ IP – показал, что указанные запросы идут по протоколу HTTP/1.1 с других стран.

Ранее, для пользователей этих стран сайт был доступен только через капчу Cloudflare… Проблема легко решалась, и пять правил для настройки WAF Cloudflare на бесплатном тарифе – было вполне достаточно для решения подобных проблем.

Теперь “любимый” PKH лишил этой возможности, а альтернативы пока нет… Да и вряд ли будет, точнее вряд ли это будет бесплатно. Наверняка проклятые капиталисты заломят цену, тем более в отсутствие конкурентов и альтернатив. 

Пока на уровне NGINX сервера заблокировал доступ к пользователям других стран, от куда получить заказчиков маловероятно. Частично проблема решена. Только при заходах на сайт с третьих стран пользователь получает не каптчу Cloudflare, а 403 – ответ сервера.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий