jano

Рейтинг
169
Регистрация
06.07.2011
Jet D.:
1. Берем IP-адрес.
2. Смотрим его hostname.
3. Блокируем.
...
5. PROFIT!

Ip я знаю и они постоянно разные.

Нужно сделать бан по *.amazonaws.com

---------- Post added 09-05-2020 at 20:10 ----------

suffix:
То есть наинтуичить какой у автора темы файервол и какая ОС и предложить сразу команду терминала слабо ?

Centos

php+fpm

---------- Post added 09-05-2020 at 20:11 ----------

foxi:
проверять хостнейм у всех это много ресурсов. Ищите готовые списки амазона, и целиком подсети баньте.

Спасибо, погуглю.

SocFishing:
А что вы хотели, если вы блокируете юзерагенты ботов и желаете использовать какую-то задачу по крону. Значит в кроне выполняется что-то с каким-то дефолтным юзерагентом, может Curl может Wget может все что угодно. Смотреть что у вас там и измените useragent.

Да, спасибо - разберусь, пока просто закомментировал. Где-то видел список ботов большой, думал может кто-то поделится им. Погуглю.

---------- Post added 07-05-2020 at 19:51 ----------

LEOnidUKG:
У вас крон через wget?

Запускайте крон так:

wget --user-agent="Mozilla/5.0" -O /dev/null -q -t 1 http://site.ru/cron.php

Нет, до этого всё работало с такими строчками:


~*(htmlparser|libwww|python|perl|urllib|scan|Curl|wget|email|PycURL|PyQ|WebCollector|WebCopy|webcraw|uCrawler|Apache-HttpClient) 1;
~*(DotBot|AhrefsBot|Seopult|MegaIndex|Uptimebot|MJ12bot|BUbiNG|AlphaBot|SemrushBot|spbot|IndeedBot|BLEXBot|org_bot|Qwantify|FlockBrain|ccbot|Qwantify|Gigabot|UnknownSpider|Unknown|Python|amazonaws.com|amazonaws) 1;
baas:
Значит в кроне есть задача/правило которое попадает под условия блокирования ботов.

Это 100%, просто что бы не искать, подумал есть у кого-нибудь расширенный список ботов, что бы добавить, а эти строчки удалить.

Может есть у кого список ботов?

---------- Post added 07-05-2020 at 12:51 ----------

EvGenius:
открываем access логи nginx и смотрим кому (с каким агентом) был ответ 403... или какой там сделан. это же только map кусок, вырванный неизвестно откуда. а само условие блокировки неизвестно куда у вас вставлено и как, может там загвоздка, а не в map.

Да по логам можно было глянуть. Кусок map стоит в nginx.conf и блокирует по этим условиям всех, кто пытается попасть на сайт с таким агентом.

Andreyka:
1) Делаем deny в robots.txt
2) Ставим на странице ссылку туда с картинкой - не жать а то забанит -

Баним ботов, которые игнорят robots.txt. Заодно ненужных посетителей сайта :)

Спасибо, атака подстихла. Хороший бот при каждом обращении считывает robots.txt?

cloud-shield:
В любой аналитике, которая не собирает данные из access логов, подобные боты и их запросы будут не видны, т.к. подавляющее кол-во ботов не запускают JS.

> Хотелось бы жить без режима Under attack mode

Используйте динамическое включение непосредственно в момент атаки, а далее выключается автоматически. Или там так не умеет?

> где взять белый список google ип ботов и как настроить лимиты

белые списки поисковиков по IP это очень плохая идея, если вам важны позиции в поиске.

совет: подключить/сменить поставщика защиты от ддос атак на того, кто зафильтрует это.

>> Динамического включения нет, я не понимаю почему там нет таких условия. Пускать траф с гугл и ботов хороших без Under

attack mode.

>> да по ип идея плохая, они всегда разные.

>> спасибо, есть идеи

---------- Post added 02-04-2020 at 11:00 ----------

foxi:
Эти дятлы еще и JS выполняют некоторые, так что вполне может порезали не человеческий траф, а этих ботов.
Единственно если у вас сайт на Россию, то при бане клауда в РКН может теряться российский траф.
Еще как вариант - можно поставить антибота (сайт заработает только завтра), чтоб наглядно видеть кто ломится и кого банить. При условии что на сайте не строит несовместимых плагинов в вордпрессе.

К сожалению не подходит ;(

---------- Post added 02-04-2020 at 11:00 ----------

lonelywoolf:
Где взять белый список - не знаю, у нас на хостинге мы клиентов защищаем на проксирующем веб-сервере примерно так: https://habr.com/ru/post/347196/

Спасибо, читал, такое не подходит.

lonelywoolf:
Их в белый список. Ну и опять же - если количество ботов не слишком большое - настроить лимиты в веб-сервере.

Подскажи пожалуйста, где взять белый список google ип ботов и как настроить лимиты.

GeCube:
Нужен програмист, который сделает скрипт, который будет слать всех без Джава скрипта.

https://ru.stackoverflow.com/questions
тут иногда помогают советом.

Тогда же хорошие боты тоже не попадут.

flacon2000:
Аналитика показывает тех, у кого стартанул JS. Боты не обязаны его стартовать

Ясно, тогда как забанить таких ботов? Они же маскируются так, как будто человек зашёл с ПК.

Я забанил подобных около 20 "(compatible; Qwantify/Bleriot/1.1; +https://help.qwant.com/bot)"" Но тогда других как разспознать?

jano:
Есть 100 папок, в них ещё папки и файлы.

ls -R > all.txt
- Выводит только файлы и каталоги без путей.

А мне нужно так,что бы выводились полные пути с "/" :
01/345/45.jpg
..
cataloge22/440.jpg

Подскажите команду пожалуйста.

Отвечаю на свой же вопрос, вот команда

find /путь -type f
Renovatio229:
вот прога, но не знаю работает/поддерживается ещё или нет https://nub-club.com/nubstore/massvideosplitter.36/
если нет, то есть ещё способ... в личку

---------- Добавлено 13.11.2019 в 01:02 ----------


от Вегаса в 100 копий комп взорвётся))) да и качество упадёт
тут нужно искать решение без рендера
подобное как раз выше

Спасибо мне 5 копий вполне за раз. :)

---------- Post added 14-11-2019 at 12:15 ----------

Нашёл лучшее решение. Использую sandboxie для запуска нескольких программ. Запустил 3 копии movavi - всё отлично работает.

Всего: 424