SocFishing: А что вы хотели, если вы блокируете юзерагенты ботов и желаете использовать какую-то задачу по крону. Значит в кроне выполняется что-то с каким-то дефолтным юзерагентом, может Curl может Wget может все что угодно. Смотреть что у вас там и измените useragent.
Да, спасибо - разберусь, пока просто закомментировал. Где-то видел список ботов большой, думал может кто-то поделится им. Погуглю.
---------- Post added 07-05-2020 at 19:51 ----------
baas: Значит в кроне есть задача/правило которое попадает под условия блокирования ботов.
Это 100%, просто что бы не искать, подумал есть у кого-нибудь расширенный список ботов, что бы добавить, а эти строчки удалить.
Может есть у кого список ботов?
---------- Post added 07-05-2020 at 12:51 ----------
EvGenius: открываем access логи nginx и смотрим кому (с каким агентом) был ответ 403... или какой там сделан. это же только map кусок, вырванный неизвестно откуда. а само условие блокировки неизвестно куда у вас вставлено и как, может там загвоздка, а не в map.
Да по логам можно было глянуть. Кусок map стоит в nginx.conf и блокирует по этим условиям всех, кто пытается попасть на сайт с таким агентом.
cloud-shield: В любой аналитике, которая не собирает данные из access логов, подобные боты и их запросы будут не видны, т.к. подавляющее кол-во ботов не запускают JS.
> Хотелось бы жить без режима Under attack mode
Используйте динамическое включение непосредственно в момент атаки, а далее выключается автоматически. Или там так не умеет?
> где взять белый список google ип ботов и как настроить лимиты
белые списки поисковиков по IP это очень плохая идея, если вам важны позиции в поиске.
совет: подключить/сменить поставщика защиты от ддос атак на того, кто зафильтрует это.
>> Динамического включения нет, я не понимаю почему там нет таких условия. Пускать траф с гугл и ботов хороших без Under
attack mode.
>> да по ип идея плохая, они всегда разные.
>> спасибо, есть идеи
---------- Post added 02-04-2020 at 11:00 ----------
foxi: Эти дятлы еще и JS выполняют некоторые, так что вполне может порезали не человеческий траф, а этих ботов. Единственно если у вас сайт на Россию, то при бане клауда в РКН может теряться российский траф. Еще как вариант - можно поставить антибота (сайт заработает только завтра), чтоб наглядно видеть кто ломится и кого банить. При условии что на сайте не строит несовместимых плагинов в вордпрессе.
К сожалению не подходит ;(
---------- Post added 02-04-2020 at 11:00 ----------
lonelywoolf: Где взять белый список - не знаю, у нас на хостинге мы клиентов защищаем на проксирующем веб-сервере примерно так: https://habr.com/ru/post/347196/
1. Берем IP-адрес.
2. Смотрим его hostname.
3. Блокируем.
...
5. PROFIT!
Ip я знаю и они постоянно разные.
Нужно сделать бан по *.amazonaws.com
---------- Post added 09-05-2020 at 20:10 ----------
То есть наинтуичить какой у автора темы файервол и какая ОС и предложить сразу команду терминала слабо ?
Centos
php+fpm
---------- Post added 09-05-2020 at 20:11 ----------
проверять хостнейм у всех это много ресурсов. Ищите готовые списки амазона, и целиком подсети баньте.
Спасибо, погуглю.
А что вы хотели, если вы блокируете юзерагенты ботов и желаете использовать какую-то задачу по крону. Значит в кроне выполняется что-то с каким-то дефолтным юзерагентом, может Curl может Wget может все что угодно. Смотреть что у вас там и измените useragent.
Да, спасибо - разберусь, пока просто закомментировал. Где-то видел список ботов большой, думал может кто-то поделится им. Погуглю.
---------- Post added 07-05-2020 at 19:51 ----------
У вас крон через wget?
Запускайте крон так:
wget --user-agent="Mozilla/5.0" -O /dev/null -q -t 1 http://site.ru/cron.php
Нет, до этого всё работало с такими строчками:
Значит в кроне есть задача/правило которое попадает под условия блокирования ботов.
Это 100%, просто что бы не искать, подумал есть у кого-нибудь расширенный список ботов, что бы добавить, а эти строчки удалить.
Может есть у кого список ботов?
---------- Post added 07-05-2020 at 12:51 ----------
открываем access логи nginx и смотрим кому (с каким агентом) был ответ 403... или какой там сделан. это же только map кусок, вырванный неизвестно откуда. а само условие блокировки неизвестно куда у вас вставлено и как, может там загвоздка, а не в map.
Да по логам можно было глянуть. Кусок map стоит в nginx.conf и блокирует по этим условиям всех, кто пытается попасть на сайт с таким агентом.
1) Делаем deny в robots.txt
2) Ставим на странице ссылку туда с картинкой - не жать а то забанит -
Баним ботов, которые игнорят robots.txt. Заодно ненужных посетителей сайта :)
Спасибо, атака подстихла. Хороший бот при каждом обращении считывает robots.txt?
В любой аналитике, которая не собирает данные из access логов, подобные боты и их запросы будут не видны, т.к. подавляющее кол-во ботов не запускают JS.
> Хотелось бы жить без режима Under attack mode
Используйте динамическое включение непосредственно в момент атаки, а далее выключается автоматически. Или там так не умеет?
> где взять белый список google ип ботов и как настроить лимиты
белые списки поисковиков по IP это очень плохая идея, если вам важны позиции в поиске.
совет: подключить/сменить поставщика защиты от ддос атак на того, кто зафильтрует это.
>> Динамического включения нет, я не понимаю почему там нет таких условия. Пускать траф с гугл и ботов хороших без Under
attack mode.
>> да по ип идея плохая, они всегда разные.
>> спасибо, есть идеи
---------- Post added 02-04-2020 at 11:00 ----------
Эти дятлы еще и JS выполняют некоторые, так что вполне может порезали не человеческий траф, а этих ботов.
Единственно если у вас сайт на Россию, то при бане клауда в РКН может теряться российский траф.
Еще как вариант - можно поставить антибота (сайт заработает только завтра), чтоб наглядно видеть кто ломится и кого банить. При условии что на сайте не строит несовместимых плагинов в вордпрессе.
К сожалению не подходит ;(
---------- Post added 02-04-2020 at 11:00 ----------
Где взять белый список - не знаю, у нас на хостинге мы клиентов защищаем на проксирующем веб-сервере примерно так: https://habr.com/ru/post/347196/
Спасибо, читал, такое не подходит.
Их в белый список. Ну и опять же - если количество ботов не слишком большое - настроить лимиты в веб-сервере.
Подскажи пожалуйста, где взять белый список google ип ботов и как настроить лимиты.
Нужен програмист, который сделает скрипт, который будет слать всех без Джава скрипта.
https://ru.stackoverflow.com/questions
тут иногда помогают советом.
Тогда же хорошие боты тоже не попадут.
Аналитика показывает тех, у кого стартанул JS. Боты не обязаны его стартовать
Ясно, тогда как забанить таких ботов? Они же маскируются так, как будто человек зашёл с ПК.
Я забанил подобных около 20 "(compatible; Qwantify/Bleriot/1.1; +https://help.qwant.com/bot)"" Но тогда других как разспознать?
Есть 100 папок, в них ещё папки и файлы.
- Выводит только файлы и каталоги без путей.
А мне нужно так,что бы выводились полные пути с "/" :
01/345/45.jpg
..
cataloge22/440.jpg
Подскажите команду пожалуйста.
Отвечаю на свой же вопрос, вот команда
вот прога, но не знаю работает/поддерживается ещё или нет https://nub-club.com/nubstore/massvideosplitter.36/
если нет, то есть ещё способ... в личку
---------- Добавлено 13.11.2019 в 01:02 ----------
от Вегаса в 100 копий комп взорвётся))) да и качество упадёт
тут нужно искать решение без рендера
подобное как раз выше
Спасибо мне 5 копий вполне за раз. :)
---------- Post added 14-11-2019 at 12:15 ----------
Нашёл лучшее решение. Использую sandboxie для запуска нескольких программ. Запустил 3 копии movavi - всё отлично работает.