Curl работает локально но не работает с сервера

Ragnarok
На сайте с 25.06.2010
Offline
208
360

Приветствую!

Есть сайт, пробую сохранить страницу с помощью curl.

Открываю страницу в хроме, жму в консоли "Copy as cURL" как-то так

Получаю код

curl 'https://www.petsupplies.com/item/p/497203/' -H 'authority: www.petsupplies.com' -H 'pragma: no-cache' -H 'cache-control: no-cache' -H 'upgrade-insecure-requests: 1' -H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36' -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'accept-encoding: gzip, deflate, br' -H 'accept-language: en,ru;q=0.9,nl;q=0.8,ru-RU;q=0.7,en-US;q=0.6' --compressed

Вставляю в терминал на рабочем компьютере (Ubuntu, если это важно) -- страница сохраняется

Вставляю в терминал на сервере (CentOS) -- зависает с таймаутом.

Из-за чего такое может быть, как это обойти? Пробую wget и там такая же ерунда..

сайт https://www.petsupplies.com/item/p/497203/

//TODO: перестать откладывать на потом
S
На сайте с 30.09.2016
Offline
459
#1

А не пробовали заголовки повыкидывать?

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
Ragnarok
На сайте с 25.06.2010
Offline
208
#2
Sitealert:
А не пробовали заголовки повыкидывать?

как только не пробовал) и curl и wget

если убирать заголовки, то и локально тоже зависает

S
На сайте с 30.09.2016
Offline
459
#3
Ragnarok:
как только не пробовал) и curl и wget
если убирать заголовки, то и локально тоже зависает

Ну я имею в виду без фанатизма. Так, чтобы целевой сервер принял запрос, а запрашивающий - понял ответ. Вы же, судя по коду, не в файл сохраняете ответ, а в консоли прочитать пытаетесь.

Ragnarok
На сайте с 25.06.2010
Offline
208
#4
Sitealert:
Ну я имею в виду без фанатизма. Так, чтобы целевой сервер принял запрос, а запрашивающий - понял ответ. Вы же, судя по коду, не в файл сохраняете ответ, а в консоли прочитать пытаетесь.

хочется хотя бы чего-то кроме таймаута..

уменьшил запрос до минимально работающего локально, сервер всё так же не хочет

curl 'https://www.petsupplies.com/item/p/497203/' -H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36' -H 'accept-language: en;q=0.9,nl;q=0.8,en-US;q=0.6' --compressed
S
На сайте с 30.09.2016
Offline
459
#5

Смотрите настройки севера. Может быть, исходящие запросы запрещены, может быть ещё какая хрень.

---------- Добавлено 21.11.2018 в 15:57 ----------

Сама команда работает, я проверил. Ответ, правда, довольно громоздкий. Двадцать тысяч строк html-кода, вес сохраненного файла 333КБ.

Ragnarok
На сайте с 25.06.2010
Offline
208
#6

Sitealert, проверил на 3 разных серверах, на одном сработало, на двух других зависло с таймаутом.. не знаю куда ещё можно копать

S
На сайте с 30.09.2016
Offline
459
#7
Ragnarok:
на одном сработало

Ну вот видите - от настроек сервера зависит (если, конечно, на принимающем сервере не включен какой-нибудь фильтр по IP - но это легко проверяется). Дальше лично я, к сожалению, ничего подсказать не могу. :o

Оптимизайка
На сайте с 11.03.2012
Offline
396
#8

Ragnarok, возможно на сайте, который вы пытаетесь открыть, стоит блокировка ip хостеров, иногда такое бывает для защиты от спамеров-парсеров. Попробуйте просто определить, доступен ли порт, телнетом: telnet www.petsupplies.com 443

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
S
На сайте с 30.09.2016
Offline
459
#9

Телнетом может не прокатить. Лучше как-то иначе. Самое простое - попробовать выкачать страницу другого сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий