Dram

Не подумал об этом )) спс, вернул назад

Добавил сюда в map условие отсутствие подсети IP в белом списке, чтобы не было ложного срабатывания, проверил, этот бот все долбится и теперь получает 200 ответ

Он у меня и есть черный 

map $http_user_agent $bad_useragent {
default 0;
~*ia_archiver   1;
~*Curl  1;
~*libwww        1;
~*BLEXBot       1;
~*SBooksNet     1;
~*MJ12bot       1;
~*Java  1;
~*NTENTbot      1;
~*GetIntent     1;
~*SemrushBot    1;
~*HybridBot     1;
~*AhrefsBot     1;
~*SeznamBot     1;
~*DeuSu 1;
~*GrapeshotCrawler      1;
~*SentiBot      1;
~*default       1;
~*Virusdie      1;
~*WordPress     1;
~*WhatsApp      1;
~*SeopultContentAnalyzer  1;
~*WinHTTP  1;
~*MauiBot  1;
~*weborama  1;
~*Python  1;
~*Go-http-client  1;
~*webdatastats.com  1;
~*opensiteexplorer.org  1;
~*www.ru  1;
~*Web-Crawler  1;
~*HttpUrlConnection  1;
~*magpie-crawler  1;
~*AdsrvrBot  1;
~*Clever  1;
~*Seekport  1;
}

Тестировал? 5000 запросов на скачивание картинок. Странные тесты. Они что после первых запросов не поняли что ничего не приходит в ответ?

Все вопрос снял - нашел ссылку на скачивание

Я инглиша не знаю.

В обще пробился я Курлом, авторизацию прошел. В итоге получил Json файл со списком файлов, а скачать теперь как?

Пробовал, ошибка

Fatal error: Uncaught exception 'Aws\S3\Exception\S3Exception' with message 'Error executing "CreateBucket" on "https://s3.inline-dmp.ru/minio/testbucket"; AWS HTTP error: Client error: `PUT https://s3.inline-dmp.ru/minio/testbucket` resulted in a `403 Forbidden` response:
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>AllAccessDisabled</Code><Message>All access to this bucket has been  (truncated...)
 AllAccessDisabled (client): All access to this bucket has been disabled. - <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>AllAccessDisabled</Code><Message>All access to this bucket has been disabled.</Message><Resource>/minio/testbucket</Resource><RequestId></RequestId><HostId>2251ad15-b0d8-4fe3-9f30-4fe7ef281704</HostId></Error>'

GuzzleHttp\Exception\ClientException: Client error: `PUT https://s3.inline-dmp.ru/minio/testbucket` resulted in a `403 Forbidden` response:
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>AllAccessDisabled</Code><Message>All access to this bucket has been  (truncated...)
 in D:\Open in D:\OpenServer\domains\localhost\vendor\aws\aws-sdk-php\src\WrappedHttpHandler.php on line 195

Да фиг знает, я вообще не врубаюсь как к нему пробиться (к этому сервису) , тупо пробую куски кода, что нашел в сети. Я не понимаю как он работает.

Баг нашел- пустая ссылка без анкора

Проще раз в неделю перезагружать впс пока парсер недопарсит чем тратить время на выяснение бага. Виноват парсер 100%, без него впс жил не тужил.